Votre Cauchemar Assurances : AI, Drones et Surveillance à Domicile

Quelques heures plus tard, ma panique s’est transformée en perplexité. Lorsque j’ai finalement réussi à joindre mon courtier, il m’a expliqué la raison pour laquelle Travelers avait annulé ma police : une surveillance par drone alimentée par l’IA. Mes finances semblaient menacées par un mauvais code.

Je prend très au sérieux la question de la vie privée et de la surveillance — au point d’avoir fondé l’un des principaux groupes de réflexion sur ce sujet, le Surveillance Technology Oversight Project. Mais alors que j’étudie les menaces de surveillance à travers le pays, je n’avais aucune idée que ma propre compagnie d’assurance utilisait mes primes pour me surveiller. Travelers utilise non seulement la photographie aérienne et l’IA pour surveiller les toits de ses clients, mais a également déposé près de 50 brevets sur cette technologie. Et il se pourrait que ce ne soit pas la seule compagnie d’assurance à surveiller depuis les cieux.

Cela ne semblait pas seulement dérangeant et intrusif — cela semblait fondamentalement injuste. Il n’y avait rien de défectueux avec mon toit.

Je suis un propriétaire paresseux. Je déteste le jardinage et je ne fais pas le ménage aussi souvent que je le devrais. Mais je m’assure de prendre soin de l’essentiel. Que ce soit pour améliorer l’électricité ou installer un nouveau système de chauffage et de climatisation, j’essaie de veiller à ce que ma maison soit sûre. Mais pour l’IA de Travelers, il semblait que ma paresse représentait trop de risques à assurer. Son algorithme n’a pas détecté de problème avec les fondations ou d’inquiétude concernant une fuite de tuyau. Au lieu de cela, comme l’a révélé mon courtier, la menace qui a annulé mon assurance n’était rien d’autre que de la mousse.

Là où il y a de l’humidité, il y a de la mousse, et si l’on laisse une grande quantité de mousse sur un toit pendant une période prolongée, cela peut réduire la durée de vie du toit. Une petite quantité est généralement inoffensive. Pourtant, le traitement de la mousse est simple. Certes, j’aurais pu m’en occuper plus tôt, mais la vie était chargée et elle continuait à pousser (et à se développer) dans les interstices. Finalement, en juin, quelques semaines avant de comprendre que mon toit était surveillé, je me suis rendu au magasin de bricolage, j’ai dépensé 80 dollars en produit anti-mousse, j’ai relié la bouteille blanche de produits chimiques au tuyau d’arrosage et je l’ai pulvérisée sur le toit. L’ensemble n’a pris que cinq minutes. Quelques jours plus tard, à ma grande soulagement, la mousse était en train de mourir. Je pensais que c’était la fin d’une histoire totalement banale.

Qui sait. Peut-être que si j’avais agi un mois plus tôt, la technologie de Travelers ne m’aurait jamais signalée comme un risque d’assurance. Mais l’une des grandes frustrations de l’ère de la surveillance par IA est que, à mesure que les entreprises et les gouvernements suivent de plus en plus notre vie en détail, nous ne savons presque jamais que nous sommes observés. Du moins jusqu’à ce qu’il soit trop tard pour changer leur avis.

Bien qu’il soit difficile de savoir combien d’autres clients de Travelers ont été ciblés par le programme de surveillance de la compagnie, je ne suis certainement pas le premier. En février, l’affilié d’ABC à Boston a rapporté le cas d’un client menacé de non-renouvellement de sa police d’assurance s’il ne remplaçait pas son toit. Celui-ci était encore en bon état et le client n’avait rencontré aucun problème de fuite ; néanmoins, on lui a dit que sans remplacement de toit, il ne serait pas assuré. Elle a fait face à une facture de 30 000 dollars pour remplacer un toit en ardoise que des experts estimaient pouvoir durer encore 70 ans.

Les compagnies d’assurance auront de grands incitatifs à agir contre le propriétaire à chaque fois.

Les assureurs ont tout intérêt à faire preuve de prudence excessive dans la façon dont ils construisent leurs modèles d’IA. Personne ne peut utiliser l’IA pour prédire l’avenir ; on forme la technologie à faire des suppositions basées sur les changements de couleur du toit et des images aériennes floues. Mais même les meilleurs modèles d’IA feront beaucoup d’erreurs de prédiction, surtout à grande échelle et en particulier lorsqu’on essaie de deviner le futur de conceptions de toits radicalement différentes à travers de nombreux bâtiments dans divers environnements. Pour les compagnies d’assurance qui conçoivent les algorithmes, cela soulève beaucoup de questions sur le moment de favoriser ou non le propriétaire. Et les compagnies d’assurance auront de grands incitatifs à agir contre le propriétaire à chaque fois.

Réfléchissez-y : Chaque fois que l’IA valide un toit qui présente réellement un problème, la compagnie d’assurance doit en payer le coût. Chaque fois que cela se produit, l’entreprise peut ajouter ce point de données à son modèle et l’entraîner à être encore plus aversive au risque. Mais lorsque les propriétaires font face à une menace d’annulation, ils doivent assumer le coût des réparations, même si celles-ci sont inutiles. Si le propriétaire à Boston enlève un toit en ardoise ayant encore 70 ans de vie, la compagnie d’assurance ne saura jamais qu’il était inexact de le retirer. Elle ne met jamais à jour le modèle pour le rendre moins agressif pour des maisons similaires.

Au fil du temps, les compagnies d’assurance auront tout l’incitatif à rendre les modèles de plus en plus impitoyables, menaçant davantage d’Américains de perte de couverture et entraînant éventuellement des réparations domiciliaires inutiles à hauteur de millions ou de milliards de dollars. Et alors que les assureurs font face à des pertes croissantes dues à la crise climatique et à l’inflation, la pression pour imposer des réparations préventives inutiles aux clients ne fera qu’augmenter.

Une conclusion déroutante à toute cette affaire est ce que Travelers a dit lorsque je les ai contactés avec une liste détaillée de questions de vérification des faits et une demande d’entretien. En réponse, un porte-parole a envoyé un déni succinct : “L’analyse et la modélisation par intelligence artificielle et la surveillance par drone ne font pas partie de notre processus de décision de souscription. Lorsque cela est disponible, nos souscripteurs peuvent se référer à des images aériennes à haute résolution dans le cadre d’un examen holistique des conditions de la propriété.”

Comment cela avait-il du sens compte tenu de ce qui était écrit sur le site de Travelers et dans ses demandes de brevet ? Puis la précision et la glisse du langage ont commencé à se démarquer. Qu’est-ce qui est réellement considéré comme faisant partie du “processus de décision de souscription” ? Lorsque Travelers se vante en ligne que ses employés “s’appuient sur des algorithmes et des images aériennes pour identifier la forme d’un toit — un processus généralement long pour les clients — avec près de 90 % de précision”, cette classification ne fait-elle pas partie du processus de souscription ? Et même si Travelers a effectué des dizaines de milliers de vols de drones, ceux-ci ne font-ils pas partie de la souscription ? Et si l’IA et les drones n’affectent pas réellement les clients, pourquoi déposer tant de demandes de brevet telles que “Systèmes et méthodes pour l’analyse de détérioration de toit par intelligence artificielle (IA)” ? On avait l’impression que la compagnie essayait de jouer sur les deux tableaux, se vantant d’utiliser la technologie la plus récente tout en évitant sa responsabilité en cas d’erreurs. Lorsque j’ai posé ces questions de suivi à la compagnie, Travelers n’a pas répondu.

Heureusement, mon propre toit ne va nulle part, du moins pas pour le moment. Quelques heures après que mon ordeal avec Travelers a commencé et que j’ai commencé à m’affoler pour obtenir une nouvelle couverture, la situation s’est résolue. Travelers a admis qu’il avait fait une erreur. Il n’a jamais reconnu que son IA avait eu tort de me taguer. Mais il a révélé la raison pour laquelle je n’avais pas trouvé d’avis d’annulation : la compagnie ne l’a jamais envoyé.

Travelers a peut-être investi d’énormes sommes dans des réseaux de neurones et des drones, mais il n’a apparemment jamais mis à jour son logiciel de facturation pour gérer correctement les éléments de base. Sans avis de non-renouvellement, il ne pouvait légalement annuler la couverture. Une mauvaise technologie de pointe m’a pénalisé ; un mauvais logiciel de base m’a sauvé.

Une partie de ce qui est si troublant dans tout cet épisode est son opacité. Lorsque Travelers a survolé ma maison avec un drone, je ne l’ai jamais su. Quand ils ont décidé que j’étais trop risqué, je n’avais aucun moyen de savoir pourquoi ni comment. À mesure que de plus en plus d’entreprises utilisent des formes de plus en plus opaques d’IA pour déterminer le cours de nos vies, nous courons tous un risque. L’IA peut donner aux entreprises un moyen rapide d’économiser de l’argent, mais lorsque ces systèmes utilisent nos données pour prendre des décisions sur nos vies, c’est nous qui portons le risque. Aussi frustrant que soit de traiter avec un agent d’assurance humain, il est clair que l’IA et la surveillance ne sont pas les bons remplacements. Et à moins que les législateurs n’agissent, la situation ne fera que se détériorer.

La raison pour laquelle je conserve mon assurance est simple : les lois de protection des consommateurs. L’État de New York n’autorise pas Travelers à révoquer mon assurance sans préavis. Mais pourquoi laissons-nous des entreprises comme Travelers utiliser l’IA contre nous en premier lieu sans aucune protection ? Il y a un siècle, les législateurs ont vu la nécessité de réguler le marché de l’assurance et de rendre les politiques plus transparentes, mais aujourd’hui des lois mises à jour sont nécessaires pour nous protéger contre l’IA qui essaie de décider de nos sorts. Sinon, l’avenir s’annonce inquiétant. L’assurance est l’une des rares choses qui nous protège des risques de la vie moderne. Sans des garanties autour de l’IA, les algorithmes prendront ce peu de tranquillité d’esprit que nos polices nous apportent.

Albert Fox Cahn est le fondateur et directeur exécutif du Surveillance Technology Oversight Project, ou STOP, un groupe de défense des droits civiques et de la vie privée basé à New York.