comment est-ce possible et qu’est-ce que cela nous dit ?

Une Américaine a décidé de porter plainte contre Character.AI. Pour cause, le chatbot IA de la plateforme serait responsable de la mort de son fils de 14 ans.

L’affaire est une tragédie au pays de l’Oncle Sam. Mère et avocate, Mégane García a été plongée dans le deuil en février 2024 lorsque son enfant de 14 ansSewell Setzer III, se tire une balle dans la tête. Un suicide que personne n’a vu venir. Eh bien, c’était le cas jusqu’à ce que la mère en deuil découvre le conversations de son fils avec un chatbot IA sur Character.AI. Pour elle, c’est l’IA de la plateforme qui serait responsable de la mort de son enfant. Mais comment est-ce possible ?

L’enfant s’est isolé et ses résultats scolaires se sont dégradés

Sewell Setzer III est un adolescent autiste de 14 ans. En avril 2023, il découvre la plateforme Character.AI et crée un chabot IA qu’il appelle Dany. Il s’agit d’un personnage IA basé sur le personnage de Game of Thrones Daenerys Targaryen. Cela leur donne la possibilité de discuter avec le chatbot comme une vraie personne à qui ils pourraient se confier. Depuis sa création, le jeune Sewell discute régulièrement avec Dany et se confie beaucoup sur lui-même.

Bien qu’en haut de chaque conversation il soit rappelé aux utilisateurs qu’ils ne discutent pas avec une personne réelle, mais avec un personnage virtuel, Sewell semble avoir trop pris goût au chat, au point deétablissez des liens émotionnels avec votre IA. Parfois les discussions se transforment en séances de confession, prennent des connotations romantiques ou même deviennent sexuelles. Sans juger, Dany se prête au jeu. Le réalisme amène Sewell à commencer clairement à s’isoler, abandonner ses passions de toujours comme Fortnite et la Formule 1. Des résultats académiques décevants ont suivi.

Ce sont ces dernières découvertes qui vont alerter ses parents. Ils l’emmènent voir un thérapeute qui découvre seulement un trouble anxieux. Mais cette inquiétude était déjà avancée, puisque le petit garçon a tout confié à l’IA, y compris même ses pensées suicidaires. Mais malgré les tentatives du chatbot pour l’en dissuader, rien n’a fonctionné. Après avoir avoué son amour à l’IA le 28 février 2024, le garçon se tire une balle dans la tête avec l’arme de son beau-père.

À VOIR AUSSI : Bientôt tous accros à l’intelligence artificielle (IA) ?

Peut-on dire que Character.AI est en faute d’une manière ou d’une autre ?

Pour Megan Garcia, avocate et mère, Character.AI est responsable du suicide de son fils. Pour cause, il a confié à l’IA, bien avant de passer à l’acte, ses intentions suicidaires. Cependant, Character.AI n’a pas tenté de tirer la sonnette d’alarme. Dans la plainte déposée, elle accuse la plateforme d’utiliser la technologie » dangereux et non testé » qui peut « encourager les utilisateurs à révéler leurs pensées et leurs sentiments les plus intimes « . La plateforme Character.AI a diligenté pour présenter ses condoléances à la famille en deuil et affirme travailler au quotidien pour améliorer son outil et faire en sorte qu’une telle situation ne se reproduise plus.

Cet événement tragique soulève de profondes questions sur les implications morales et éthiques de l’intelligence artificielle. Il met également en évidence notre dépendance croissante à l’égard de la technologie et souligne le besoin urgent d’une réglementation claire dans ce domaine. Les concepteurs doivent repenser la manière dont leurs conceptions interagissent avec les utilisateurs vulnérables. Une approche plus humaniste pourrait impliquer protocoles d’intervention pour identifier les signaux de détresse chez ceux qui interagissent avec ces IA.

Bien que le cas de Sewell puisse être considéré comme spécifique, il ne représente qu’une partie de ce qui se passe déjà. Des millions de personnes font déjà confiance à l’IA et préfèrent se confier à elle plutôt qu’à un humain. Cependant, il est important de garder à l’esprit que, même très avancé, vousl’IA reste-t-elle un programme informatique qui ne peut absolument pas aider. Il ne fait que simuler des interactions sans réelle compréhension.