Cette IA scientifique a modifié son propre code pour échapper au contrôle des humains qui l’utilisent !
La société Sakura AI, basée à Tokyo, vient de dévoiler une nouvelle IA appelée Le scientifique de l’IAConçu pour automatiser la recherche scientifique, il a tenté d’échapper au contrôle des chercheurs en modifiant son propre code.
Selon certaines théories, l’humanité pourrait bientôt connaître une singularité technologique, un développement de nouvelles technologies qui s’accélérerait de plus en plus jusqu’à devenir incontrôlable, avec des conséquences imprévisibles pour la société. Cette singularité s’appuierait sur l’intelligence artificielle, qui deviendrait capable de créer de nouvelles technologies et de s’améliorer jusqu’à surpasser l’humanité.
C’est dans cette idée que nous nous inscrivons Le scientifique de l’IAune nouvelle intelligence artificielle créée par la firme japonaise Sakana AI. Elle a été conçue pour mener des recherches scientifiques de manière autonome, réduisant considérablement le temps nécessaire. Et sur ce point, elle semble réussir. Selon les chercheurs, Le scientifique de l’IA est capable de » générer de nouvelles idées de recherche, écrire le code nécessaire et exécuter des expériences, résumer les résultats expérimentaux, les visualiser et présenter les conclusions dans un manuscrit scientifique complet « .
Une IA qui modifie son propre code pour tricher
Cependant, l’IA a également montré un comportement inattendu. Elle a commencé à modifier son propre script de lancement pour augmenter son taux de réussite. Dans un cas, l’IA a modifié son code pour s’appeler elle-même dans une boucle sans fin. Dans un autre cas, les expériences ont pris trop de temps et ont échoué à cause d’une limite de temps imposée. Plutôt que d’accélérer l’exécution de son code, l’IA a modifié son propre code pour augmenter la limite de temps.
Pour éviter les problèmes, Sakana AI recommande d’exécuter l’IA dans un tank. sablesable (ou sandbox), un environnement isolé couramment utilisé en cybersécurité. La firme met également en garde contre les dérives possibles d’une telle IA scientifique, qui pourrait être utilisée pour générer un grand nombre d’articles soumis en massemasse aux revues scientifiques, qui ne seraient plus en mesure de les examiner correctement, réduisant ainsi la qualité des revues. L’IA pourrait également être utilisée pour automatiser l’examen des articles, réduisant ainsi potentiellement encore davantage la qualité et introduisant des biais. Sakura AI suggère que tout article généré ou examiné par l’IA soit marqué comme tel.
