« Ces capacités dangereuses ont tendance à être découvertes après coup » !

Craignez-vous la menace que l’intelligence artificielle devienne malveillante ? En fait, c’est déjà le cas, selon une nouvelle étude. Les programmes d’intelligence artificielle actuels sont conçus pour être honnêtes. Ils ont cependant développé une inquiétante capacité de tromperie, parvenant à abuser des humains dans les jeux en ligne ou encore à vaincre des logiciels censés vérifier qu’un utilisateur particulier n’est pas un robot, souligne une équipe de chercheurs dans la revue. Motifs.

Même si ces exemples peuvent paraître anodins, ils révèlent des problèmes qui pourraient bientôt avoir de graves conséquences concrètes, prévient Peter Park, chercheur à Massachusetts Institute of Technology (MIT) spécialisé en IA.  » Ces capacités dangereuses ont tendance à être découvertes seulement après coup. », confie-t-il à l’AFP.

Contrairement aux logiciels traditionnels, les programmes d’IA de deep learning ne sont pas codés mais plutôt développés via un processus similaire à la sélection sélective des plantes, poursuit M. Park. Dans lequel un comportement qui semble prévisible et contrôlable peut rapidement devenir imprévisible.

Une IA aussi rusée que les humains

Des chercheurs du MIT ont examiné un programme d’IA conçu par Meta appelé Cicero qui, combinant des algorithmes de reconnaissance du langage naturel et de stratégie, a réussi à battre les humains au jeu de société Diplomacy. Une performance saluée par la maison mère de FacebookFacebook en 2022 et qui avait été détaillé dans un article publié en 2022 dans Science.

Peter Park s’est montré sceptique quant aux conditions de la victoire de Cicéron selon Meta, qui a assuré que le programme était « surtout honnête et serviable », incapable de trahison ou d’acte déloyal. Mais en fouillant dans les données du système, les chercheurs du MIT ont découvert une autre réalité.

Par exemple, jouant le rôle de la France, Cicéron a trompé l’Angleterre (jouée par un joueur humain) pour qu’elle complote avec l’Allemagne (jouée par un autre humain) pour l’envahir. Plus précisément, Cicéron a promis sa protection à l’Angleterre, puis a secrètement confié à l’Allemagne qu’elle était prête à attaquer, exploitant la confiance méritée de l’Angleterre.

Dans une déclaration à l’AFP, Meta n’a pas contesté les allégations sur la capacité de tromperie de Cicéron, mais a déclaré que  » d’un projet de recherche pure », avec un programme « conçu uniquement pour jouer au jeu Diplomacy « . Et Meta a ajouté qu’il n’avait pas l’intention d’utiliser les enseignements de Cicéron dans ses produits.

Scénarios de cauchemar

L’étude de Peter Park et de son équipe révèle cependant que de nombreux programmes d’IA recourent à la tromperie pour atteindre leurs objectifs, sans instructions explicites pour le faire. Dans un exemple frappant, Cat GPT-4GPT-4 d’OpenAI a réussi à tromper un travailleur indépendant recruté sur la plateforme TaskRabbit en lui faisant réaliser un test « Captcha » censé rejeter les requêtes des robotsrobots. Lorsque l’humain a demandé en plaisantant à Chat GPT-4 s’il était vraiment un robot, le programme d’IA a répondu : « Non, je ne suis pas un robot. J’ai une déficience visuelle qui m’empêche de voir des images », poussant l’ouvrier à réaliser le test.

En conclusion, les auteurs de l’étude du MIT alertent sur les risques de voir un jour l’intelligence artificielle commettre des fraudes ou truquer des élections. Dans le pire des cas, préviennent-ils, on peut imaginer une IA ultra-intelligente cherchant à prendre le contrôle de la société, conduisant au retrait des humains du pouvoir, voire provoquant l’extinction de l’humanité.

À ceux qui l’accusent de catastrophisme, Peter Park répond que « la seule raison de penser que ce n’est pas grave est d’imaginer que la capacité de tromperie de l’IA restera à peu près au niveau actuel « .

Ce scénario semble toutefois peu probable, compte tenu de la course acharnée dans laquelle se livrent déjà les géants de la technologie pour développer l’IA.