(Avis) La société Character.AI propose aux internautes de créer leur propre chatbot. En fait, le service est principalement utilisé pour créer des robots imitant l’apparence de personnes réelles, qui sont de plus en plus utilisés à des fins de harcèlement. Est-ce moins grave parce que c’est une forme de fiction ? C’est le thème de la newsletter Règle 30 de cette semaine.
Dans le monde de la fanfiction, il existe une pratique assez controversée : le RPF. Là fiction sur une personne réelle est, comme son nom l’indique, un genre qui consiste à écrire des histoires sur de vraies personnes. Il peut s’agir de contenus parodiques (c’est le cas de la majorité du FPR qui implique des politiques). Le plus souvent, on y met en scène des célébrités dans des situations romantiques, voire érotiques. Certains auteurs s’imaginent en couple avec une star. D’autres jouent à Cupidon avec les membres d’un boys band, d’une écurie de F1, etc. La règle tacite de ces histoires est de ne pas les diffuser largement, de les garder loin des yeux des personnes qui les ont inspirées.
Quand j’ai entendu parler de Character.AI pour la première fois, j’ai immédiatement pensé à la fanfiction. Conçue par deux anciens ingénieurs d’Alphabet/Google, et évaluée à plus d’un milliard de dollars, cette plateforme offre aux internautes la possibilité de créer leur propre chatbot propulsé par une IA générative textuelle. Sur la page d’accueil, on nous présente des bots pour pratiquer un entretien d’embauche ou obtenir des conseils de lecture. En fait, le service est principalement utilisé pour créer des programmes mettant en scène des personnages fictifs, voire des personnes réelles. On apprend dans cette enquête magazine Filaire que ces robots sont de plus en plus utilisés à des fins de spam, de désinformation et de harcèlement (plusieurs victimes ont cité travailler dans l’industrie du jeu vidéo, toujours en avance sur les nouvelles formes de menaces en ligne).
Si Character.AI interdit théoriquement les bots » présentant un risque pour la vie privée » d’une personne, ou aux fins de « diffamation « , de » pornographie » ou » violence extrême », elle admet également qu’un programme allant à l’encontre de ses règles sera supprimé dans un délai moyen d’une semaine. Et n’oubliez pas de vous protéger (légalement) en ajoutant une simple phrase en bas de la fenêtre de discussion : « tout ce que disent les personnages est inventé ! »
Cet éditorial est un extrait de la newsletter Règle 30 de Lucie Ronfaut, envoyée le mercredi 23 octobre 2024. Vous pouvez vous inscrire pour recevoir les prochains numéros :
Character.AI n’est que la pointe de l’iceberg. Les robots personnalisés sont très populaires en ligne et difficiles à contrôler. Début octobre, la plateforme Muah.ai, spécialisée dans la création de chatbots érotiques « sans censure», a subi une cyberattaque, révélant de nombreuses requêtes inquiétantes (et illégales) autour de robots incarnant des enfants. Ces types de programmes peuvent également être utilisés pour doxx (révéler des informations privées) de véritables victimes, qui ignorent souvent que quelqu’un a créé un programme à leur image.
Est-ce moins grave parce que c’est de la fiction ?
D’une certaine manière, ces cas ne sont pas nouveaux. C’est encore une autre histoire d’une plateforme qui refuse de modérer activement les effets négatifs qu’elle pourrait avoir sur ses utilisateurs, et au-delà. C’est aussi un écho des pratiques qui existaient avant l’explosion de l’IA générative. En 2022, lorsque les streamers français dénonçaient le harcèlement massif dont ils étaient victimes, certains mettaient plus particulièrement en avant l’organisation de jeux de rôle sexuels en utilisant leur nom et leur image sur Reddit et Discord, évidemment sans leur accord.
On est finalement très loin du RPF, que je comparerais aux fantasmes d’une adolescente qui imagine une romance avec sa pop star préférée, dans un cadre privé ou restreint. Ici, nous transformons des personnes réelles, le plus souvent des femmes, parfois sans notoriété particulière, en objets publics à posséder, contrôler, partager. La nouveauté est que le phénomène se retrouve désormais au cœur du modèle économique des entreprises. Est-ce moins grave parce que c’est de la fiction ?
Cet éditorial a été rédigé avant que l’on apprenne le décès d’un jeune adolescent, Sewell, qui s’est suicidé en février dernier, et qui utilisait abondamment un chatbot Character.AI. Sa mère a porté plainte, accusant le chatbot d’avoir incité son fils au suicide.