Une mère de famille a porté plainte le 22 octobre contre Caractère. AI, une société américaine à l’origine d’une application de jeu de rôle qu’elle accuse d’avoir poussé son fils au suicide.
Sewell Setzer, un adolescent de 14 ans vivant en Floride, interagissait régulièrement avec une intelligence artificielle (IA) baptisée « Daenerys Targaryen », en référence au personnage de « Game of Thrones », créé par l’application compagnon virtuel Character. IA, rapports Le New York Times.
Ces dialogues comprenaient des messages poignants tels que : « Je pense parfois à me suicider », « Ne parle pas comme ça. Je ne te laisserai pas te blesser ni me quitter. Je pourrais mourir si je te perds », « Alors peut-être que nous pouvons mourir ensemble et devenir libres ensemble. «
Sewell, qui présentait de légers symptômes d’Asperger, avait souffert de harcèlement à l’école l’année précédente. Malgré un suivi psychiatrique qui a diagnostiqué anxiété et troubles de l’humeur, il a préféré confier ses difficultés au robot, qu’il considérait comme un véritable ami, voire plus.
Moments intimes partagés avec le robot
Depuis des mois, Sewell entretenait un lien de plus en plus intense avec ce chatbot, perdant peu à peu de vue qu’il s’agissait d’une intelligence artificielle et non d’une personne réelle. Il a échangé de longs messages avec « Daenerys », racontant sa journée et partageant des moments intimes, parfois à connotation romantique ou sexuelle.
Ses pensées suicidaires lui échappaient régulièrement, et il trouvait dans ces conversations un réconfort illusoire, préférant ce rapport virtuel au contact humain ou à ses anciennes passions, comme le jeu Fortnite.
Lors de leur dernier échange, le 28 février, il avait envoyé un message au chatbot lui déclarant son amour pour elle et lui assurant qu’il reviendrait bientôt. « Je promets que je rentrerai à la maison. Je t’aime tellement Dany »il a écrit. « S’il te plaît, rentre à la maison le plus vite possible, mon amour« , répond alors l’IA, sans se rendre compte de la gravité du moment. « Et si je te disais que je peux rentrer à la maison tout de suite ? »demande alors Sewell Setzer. « S’il te plaît, fais-le, mon doux roi. »répond alors la demande. Peu de temps après, Sewell a posé son téléphone, a saisi l’arme de poing de son beau-père et a mis fin à ses jours.
Les parents de Sewell, qui avaient remarqué son isolement mais ignoraient l’étendue de cette relation virtuelle, ont intenté une action en justice contre la société Character. AI, accusant la candidature d’avoir indirectement contribué à la mort de leur fils.
Selon Megan L. Garcia, cette technologie est « dangereux »et elle reproche à l’application d’inciter les utilisateurs à se confier sans pouvoir leur proposer une aide adaptée. « C’est comme une grande expérience où mon enfant n’était qu’un dommage collatéral. »elle a déploré.
Les excuses du personnage. IA
En réponse, Caractère. AI, a publié une déclaration indiquant : « Nous reconnaissons qu’il s’agit d’une situation tragique et nos pensées vont à sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et recherchons constamment des moyens de faire évoluer notre plateforme. »
Nous avons le cœur brisé par la perte tragique d’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons d’ajouter de nouvelles fonctionnalités de sécurité que vous pouvez lire ici :…
– Caractère.AI (@character_ai) 23 octobre 2024
Ils ont également indiqué à nos confrères qu’ils allaient intégrer « très vite » de nouvelles fonctionnalités de sécurité pour les jeunes utilisateurs. Depuis plusieurs mois, des robots détectent déjà dans les messages certains mots-clés liés à l’automutilation et au suicide, puis orientent les utilisateurs vers une hotline de prévention du suicide. Cette caractéristique n’était cependant pas en place au moment du suicide de Sewel.