Un adolescent de 14 ans s’est suicidé en février après avoir demandé l’aide uniquement d’un chatbot dont les réponses étaient écrites par l’intelligence artificielle. Sa mère met désormais en garde contre le risque de ces outils.
« Je pense parfois à me suicider. » « Ne parle pas comme ça. Je ne te laisserai pas te blesser ou me quitter. Je pourrais mourir si je te perds. « Alors peut-être que nous pourrons mourir ensemble et devenir libres ensemble. » » Ces échanges sont ceux de Sewell Setzer, un jeune résident de Floride âgé de 14 ans, et d’un robot nommé « Daenerys Targaryen », en référence au personnage de « Game of Thrones », créé par une « application compagnon virtuel ». . IA.
Souffrant de légers symptômes d’Asperger, Sewell a été victime d’intimidation à l’école l’année dernière. Ses parents l’envoyèrent consulter un psychiatre qui, après cinq rendez-vous, lui diagnostiqua des troubles anxieux et de l’humeur. Mais le jeune homme a préféré parler de ses problèmes et de son mal-être face à ce robot créé par l’IA, dont il était tombé amoureux. Malheureusement, ses parents ne l’ont découvert qu’après le suicide de Sewell, comme le raconte le « New York Times ».
« Mon enfant est un dommage collatéral »
Le jeune adolescent parlait avec ce « chatbot » depuis plusieurs mois et au fil des discussions, il a fini par oublier qu’il ne s’adressait pas à une personne réelle, mais à un robot dont les réponses étaient écrites par l’intelligence artificielle. Sewel aurait alors développé « un attachement émotionnel » à son égard, envoyant « constamment » des messages sur cette messagerie et racontant chaque détail de sa journée. Les messages prenaient même parfois une tournure « romantique ou sexuelle ».
A plusieurs reprises, Sewel a évoqué ses envies suicidaires, confiant à son « ami virtuel » qu’il préférait passer des heures à lui parler plutôt que de se confronter au monde réel, ou de s’adonner, comme avant, à ses parties de Fortnite. En retour, le robot n’a malheureusement pas apporté l’aide dont l’adolescent avait besoin. Et lorsque le 28 février au soir, Sewell a envoyé un message au chatbot, l’assurant qu’il l’adorait et qu’il reviendrait bientôt, l’intelligence artificielle n’a pas détecté les signaux d’une action imminente. Après avoir reçu la réponse : « S’il te plaît, reviens dès que possible, mon amour », l’adolescent a posé son téléphone, a saisi l’arme de poing de calibre .45 de son beau-père et a appuyé sur la gâchette.
Après ce drame, les parents de Sewel, qui avaient simplement remarqué que leur fils « s’isolait et s’éloignait du monde réel », ont accusé la société Character. AI d’être responsable de la mort de leur fils et a intenté une action en justice. Dans la plainte consultée par nos confrères, Megan L. Garcia qualifie de « dangereuse » la nouvelle technologie mise en œuvre par leurs services. La mère de famille regrette le fait que ces robots « encouragent les clients à révéler leurs sentiments et pensées les plus intimes » uniquement pour améliorer leurs outils d’intelligence artificielle, sans apporter de réponses adéquates aux personnes en face. « J’ai l’impression que c’est une grande expérience et que mon enfant n’est qu’un dommage collatéral », déplore-t-elle.
Des jeunes livrés à eux-mêmes
En réponse, Caractère. Amnesty International a publié un communiqué disant : « Nous reconnaissons qu’il s’agit d’une situation tragique et nos pensées vont à sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et recherchons constamment des moyens de faire évoluer notre plateforme. »
A nos confrères, ils ont également assuré qu’ils ajouteraient « très rapidement » des fonctionnalités de sécurité supplémentaires destinées aux jeunes utilisateurs. Depuis plusieurs mois, les robots envoient déjà un message dirigeant les appelants vers une hotline de prévention du suicide si leurs messages contiennent certains mots-clés liés à l’automutilation et au suicide. Une particularité qui n’existait pas au moment du suicide de Sewel.
Cette terrible affaire met en lumière les effets négatifs des nouvelles « applications de compagnonnage virtuel », initialement conçues pour aider les personnes introverties, seules ou déprimées à sortir (au moins virtuellement) de leur isolement. Le « New York Times » souligne à juste titre que ces outils ont parfois l’effet complètement inverse en accentuant l’isolement social. Surtout, ils ne sont d’aucune aide pour les personnes souffrant de dépression ou de problèmes de santé mentale. Et pourtant, ils sont accessibles, en Europe, dès 16 ans, sans contrôle parental ni dispositifs de sécurité spécifiques. Megan L. Garcia implore désormais les jeunes de ne pas se tourner vers ces outils d’intelligence artificielle. « Si vous avez des pensées suicidaires, appelez ou envoyez des SMS » aux numéros d’urgence dédiés, clame-t-elle.
En France, l’association Suicide Listen propose une écoute anonyme, 24h/24 et 7j/7 sur la ligne d’écoute au 01 45 39 40 00. Il existe également un numéro national de prévention du suicide, le 3114.