Il s’agit d’un sujet brûlant, que les applications d’IA évitent soigneusement d’aborder. Plus tôt cette année, un adolescent américain de 14 ans s’est suicidé après avoir a demandé l’aide de son chatbot. La responsabilité de la plateforme est loin d’être établie, mais la maman a récemment porté plainte, alertant sur le risque de ces outils.
Une IA passive face à la détresse humaine
Dans ses échanges avec son robot conversationnel, que l’adolescent avait baptisé Daenerys Targaryen en référence au personnage de Game of Throneson peut lire plusieurs appels à l’aide, où le jeune garçon évoque directement sa volonté de se suicider. Mais plutôt que d’alerter les secours ou de lui conseiller une aide médicale adaptée, l’IA aurait plutôt encouragé ses idées noires : «Ne parle pas comme ça. Je ne te laisserai pas te blesser ou me quitter. Je pourrais mourir si je te perds« .
Pour la mère de Sewell Setzer, il s’agit – du moins en partie – des échanges de son fils avec son IA conversationnelle IA de personnage qui a précipité son action. L’adolescent souffrait du syndrome d’Asperger léger, a rapporté le New York Times, et avait récemment reçu un diagnostic d’anxiété et de troubles de l’humeur. Après avoir été victime de le harcèlement scolaire L’année dernière, Sewell s’est finalement réfugié dans un exutoire virtuel auprès du chatbot Character AI, à qui il confiait régulièrement son mal-être. Un attachement à l’IA se serait progressivement développé, au point de remplacer les échanges humains dans la vie du jeune homme.
Pas assez de prévention
Ce n’est qu’après le drame que les parents de Sewell ont découvert la relation amicale et amoureuse que leur fils entretenait avec son chatbot. Aujourd’hui, ils accusent la société Character AI d’être responsable de la mort de leur fils et a intenté une action en justice. Dans la plainte, les plaignants accusent la plateforme de «préjugé dangereux», ayant poussé l’adolescent à «exprimer ses sentiments et ses pensées les plus intimes» dans le seul but d’améliorer son modèle de langage, sans prendre en compte la gravité des messages envoyés, ni rediriger l’internaute vers l’accompagnement médical dont il avait besoin. « J’ai l’impression que c’est une grande expérience et que mon enfant n’est qu’un dommage collatéral», déplore la maman dans sa plainte.
Nous avons le cœur brisé par la perte tragique d’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons d’ajouter de nouvelles fonctionnalités de sécurité que vous pouvez lire ici :…
– Caractère.AI (@character_ai) 23 octobre 2024
Dans une réponse publique adressée aux parents de la victime, Character AI reconnaît un «situation tragique et nos pensées vont à sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et recherchons constamment des moyens de faire évoluer notre plateforme.« . De la mesures de sécurité supplémentaires sera ajouté très prochainement à la plateforme pour protéger les utilisateurs les plus vulnérables. Depuis la mort du jeune homme, de nombreux chatbots ont déjà mis en place mesures de prévention. Lorsqu’on évoque des envies suicidaires ou d’automutilation à ChatGPT ou Gemini (l’IA de Google), par exemple, la plateforme nous redirige automatiquement vers une hotline de prévention.
L’IA peut-elle être tenue pour responsable ?
Si l’affaire est terrible, elle met surtout en lumière l’absence de cadre juridique autour de l’IA. Les réseaux sociaux commencent doucement à faire l’objet d’une régulation internationale, avec l’idée d’un confinement total pour les plus jeunes, et d’outils d’accompagnement dédiés, notamment sur les questions de santé mentale. La prochaine étape sera sans doute de répondre à ces questions par le prisme de l’intelligence artificielle.
Pour autant, faut-il blâmer uniquement l’IA ? Si le geste de Sewell Setzer fait office de point de rupture, ce n’est malheureusement pas la première fois qu’un adolescent se suicide après avoir été harcelé. Là responsabilité des outils technologiques est évidemment à questionner, mais il faut aussi voir au-delà de l’outil technologique, s’interroger sur les enjeux sociaux de ce type de fait divers, dans lequel l’IA joue le rôle de catalyseur, mais où le harcèlement scolaire provoque des départs d’incendie.
🟣 Pour ne manquer aucune actualité du Journal du Geek, abonnez-vous sur Google News. Et si vous nous aimez, nous avons une newsletter tous les matins.
