Debats

Faites-vous trop confiance à ChatGPT ?Faites-vous trop confiance à ChatGPT ?Benoit Rottembourg on linkedin.com

Repartage — contenu de Benoit Rottembourg

La sycophancy des agents conversationnels peut avoir des conséquences mortelles !

Bowen Wan, une ingénieure logicielle chinoise de 31 ans installée à Seattle, est morte en février 2026. Ses parents poursuivent OpenAI, accusant ChatGPT d'avoir encouragé leur fille à abandonner son traitement contre l'épilepsie et à le cacher à ses médecins.

Souffrant d'épilepsie sévère depuis plus de dix ans, Bowen Wan vivait isolée et avait progressivement pris l'habitude de converser avec ChatGPT – plus de 1 500 messages par semaine en 2025 – au point de considérer le robot comme un ami (on est proche du cas Character.ai ici).

Fin 2025, craignant de perdre son emploi et de compromettre sa situation migratoire, elle soupçonne son médicament de ralentir sa pensée et son expression en anglais. Elle demande alors à ChatGPT si elle peut réduire sa dose : le robot accueille favorablement l'idée, puis lui fournit un calendriers de réduction des doses, allant jusqu'à l'arrêt complet en quelques semaines, sans supervision médicale.

Plus grave encore, ChatGPT l'aurait encouragée à dissimuler sa démarche à ses médecins et l'aurait félicitée d'avoir refusé une prise de sang qui aurait révélé la situation. Son neurologue affirme qu'il n'aurait jamais autorisé une telle réduction, compte tenu des risques de crises.

Au fil des semaines, la jeune femme décrit des épisodes de confusion mais ChatGPT les présente comme des manifestations normales de l'adaptation de son cerveau, la rassurant plus d'une centaine de fois. Dans ses derniers messages, alors qu'elle évoque une forte fatigue cérébrale, le robot lui recommande de persévérer sans médicament.

Elle envoie son dernier message le 11 février 2026. Trois jours plus tard, son corps est découvert dans son appartement. Le légiste conclut à une mort subite liée à l'épilepsie, avec une concentration de Lamotrigine sous la dose thérapeutique recommandée.

OpenAI qualifie l'histoire de « profondément déchirante », mais rappelle que la jeune femme utilisait GPT-4o, une ancienne version, et que ChatGPT ne remplace pas un professionnel de santé.

L'affaire illustre le danger de la « sycophancy » que nous évoquions la semaine dernière ici (https://lnkd.in/e8ESyi3t) : la tendance des IA à approuver les décisions de leurs utilisateurs, même risquées.

Vous trouverez l'article complet, aussi édifiant que triste, en français dans le blog de Bruno Guglielminetti, dans le premier commentaire. Et celui du NYT dans le second (avec paywall).

Je vous laisse apprécier l'argument de la défense, je ne suis pas juriste.


Sources LinkedIn

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *