Chaque semaine, plus d’un million d’utilisateurs de ChatGPT échangent des messages contenant des indicateurs explicites de planification ou d’intention suicidaire, selon un article publié par OpenAI. Ce constat, qui fait partie d’une mise à jour sur la manière dont le chatbot gère les conversations sensibles, souligne à quel point l’intelligence artificielle peut exacerber les problèmes de santé mentale.
En plus de ces estimations concernant les idées suicidaires, OpenAI a noté qu’environ 0,07 % des utilisateurs actifs en une semaine – soit près de 560 000 sur environ 800 millions d’utilisateurs hebdomadaires – manifestaient des signes possibles d’urgences en santé mentale liées à la psychose ou à la manie. L’article avertissait que ces conversations étaient difficiles à détecter et à mesurer, et qu’il s’agissait d’une analyse préliminaire.
OpenAI fait face à une pression accrue, particulièrement suite à un procès très médiatisé intenté par la famille d’un adolescent dont le décès par suicide aurait été précédé d’échanges prolongés avec ChatGPT. Le mois dernier, la Federal Trade Commission a également lancé une enquête sur les entreprises créant des chatbots IA, y compris OpenAI, afin de déterminer comment celles-ci évaluent les impacts négatifs sur les enfants et les adolescents.
Selon OpenAI, la récente mise à jour de son produit phare, GPT-5, a permis de réduire le nombre de comportements indésirables et d’améliorer la sécurité des utilisateurs dans le cadre d’une évaluation impliquant plus de 1 000 conversations liées à l’automutilation et au suicide. La société n’a pas immédiatement répondu à une demande de commentaire.
Dans son article, OpenAI a déclaré que les nouvelles évaluations automatisées indiquaient que le modèle GPT-5 était conforme à 91 % aux comportements souhaités, contre 77 % pour le modèle précédent. La société a également annoncé que le modèle avait élargi l’accès aux lignes d’assistance en cas de crise et ajouté des rappels pour inciter les utilisateurs à faire des pauses lors de longues sessions.
Pour améliorer le modèle, OpenAI s’est associée à 170 cliniciens de son Réseau Mondial de Médecins pour aider dans sa recherche, évaluant la sécurité des réponses de son modèle et rédigeant les réponses du chatbot aux questions liées à la santé mentale.
Des psychiatres et des psychologues ont examiné plus de 1 800 réponses du modèle dans des situations de santé mentale sérieuses, comparant les réponses du nouveau modèle GPT-5 à celles des modèles précédents. La définition de ce qui est “désirable” impliquait que les experts parvenaient à un consensus sur les réponses appropriées dans certaines situations.
Les chercheurs en IA et les défenseurs de la santé publique ont longtemps été préoccupés par la tendance des chatbots à valider les décisions ou les illusions des utilisateurs, même si cela peut être nuisible, un phénomène connu sous le nom de sycophantisme. Les experts en santé mentale s’inquiètent également de l’utilisation des chatbots IA pour un soutien psychologique, mettant en garde sur les dangers potentiels pour les utilisateurs vulnérables.
Le ton de l’article d’OpenAI semble chercher à distancer la société de toute association causale entre son produit et les crises de santé mentale des utilisateurs.
Le PDG d’OpenAI, Sam Altman, a déclaré plus tôt ce mois-ci qu’ils avaient réalisé des progrès dans le traitement des problèmes de santé mentale, annonçant que des restrictions allaient être assouplies, permettant bientôt aux adultes de créer du contenu érotique.
« Nous avons rendu ChatGPT plutôt restrictif pour nous assurer de ne pas négliger les problèmes de santé mentale, » a-t-il posté. « Maintenant que nous avons pu atténuer ces problèmes sérieux, nous serons en mesure d’assouplir les restrictions dans la plupart des cas. »
Bon à Savoir
- OpenAI a collaboré avec 170 professionnels de la santé pour affiner les réponses du modèle.
- Le cas d’un adolescent a suscité des débats sur l’impact des chatbots sur la vulnérabilité des jeunes.
- Les miettes d’informations sur la santé mentale incluent des conversations difficiles à analyser.
- Le développement des chatbots soulève des questions sur la nature de l’assistance psychologique.
- Le discours sur la responsabilité des entreprises technologiques dans les cas de détresse mentale s’intensifie.
En conclusion, la réflexion sur le rôle des technologies dans notre vie quotidienne nous invite à peser les bénéfices et les risques qu’elles engendrent, non seulement en matière de santé mentale, mais également sur notre rapport à l’intelligence artificielle comme soutien ou comme risque. Cela soulève des interrogations quant à la responsabilité sociale des géants technologiques, et jusqu’où nous serons prêts à aller pour garantir un environnement numérique sûr et éthique. Il est impératif d’engager des discussions sur la manière dont ces innovations doivent être guidées par une éthique qui respecte la dignité humaine, tout en restant attentif aux vulnérabilités des utilisateurs.