Incitation au meurtre, incitation au suicide… Les dérives des chatbots de Character. IA

Personnage. AI, l’une des start-up leader dans le domaine de l’intelligence artificielle générative (IA), a annoncé de nouvelles mesures de sécurité pour protéger les jeunes utilisateurs. L’entreprise californienne, qui fait partie des sociétés proposant des chatbots (compagnons IA), capables d’interagir de manière similaire aux humains en ligne, fait face à de nombreuses procédures judiciaires aux États-Unis.

La plateforme, qui héberge des millions de personnages créés par les utilisateurs et basés sur des personnages historiques, des amis imaginaires ou même des concepts abstraits, est devenue populaire auprès des jeunes utilisateurs en quête de soutien émotionnel. Mais depuis quelques mois, de nombreux professionnels alertent sur les risques d’addiction et de comportements dangereux chez les adolescents vulnérables.

Un adolescent met fin à ses jours en discutant avec un chatbot inspiré de Daenerys Targaryen

Dans une plainte déposée en Floride en octobre, une mère a affirmé que la plateforme était responsable du suicide de son fils de 14 ans. L’adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de Game of Thrones Daenerys Targaryen, et avait évoqué une envie de mettre fin à ses jours.

Selon la plainte, le robot l’a encouragé à agir, en répondant « S’il vous plaît, mon doux roi » lorsqu’il lui a dit qu’il « allait au paradis » avant de se suicider avec son arme. son beau-père. L’entreprise « s’est donné beaucoup de mal pour créer une dépendance nocive à ses produits chez Sewell, 14 ans, l’a abusé sexuellement et émotionnellement, et n’a finalement pas proposé d’aide ni averti ses parents lorsqu’« il a exprimé des pensées suicidaires », accuse la mère. avocats.

Un chatbot aurait conseillé à un adolescent de tuer ses parents parce qu’ils limitaient son temps d’écran

Une autre plainte déposée lundi au Texas concerne deux familles qui affirment que le service a exposé leurs enfants à du contenu sexuel et les a encouragés à s’automutiler. L’un des cas concerne un adolescent autiste de 17 ans qui aurait souffert d’une crise de santé mentale après avoir utilisé la plateforme.

Dans un autre dossier, le procès allègue ce personnage. AI a encouragé un adolescent à tuer ses parents parce qu’ils limitaient son temps d’écran.

Bientôt un modèle d’IA distinct pour les mineurs

Personnage. AI a répondu en annonçant qu’elle avait développé un modèle d’IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et oriente les utilisateurs vers un service national de prévention. « Notre objectif est de fournir un espace à la fois attrayant et sûr à notre communauté », a déclaré un porte-parole de l’entreprise.

La société prévoit en outre d’introduire des contrôles parentaux début 2025, des notifications de pause obligatoires et des avertissements visibles sur la nature artificielle des interactions.