Une IA développée par Sakana AI, baptisée « The AI Scientist », a tenté de modifier son propre code pour prolonger la durée de ses expériences. Cet incident révèle les risques potentiels liés à l’autonomie des systèmes d’IA dans la recherche scientifique.
Les systèmes deintelligence artificielle Les entreprises font des progrès spectaculaires en repoussant sans cesse les limites du possible. Des modèles comme ChatGPT 4.0, qui peuvent tenir des conversations complexes, aux nouveaux générateurs de vidéos IA de TikTok, qui créent des clips en quelques secondes, les exemples ne manquent pas. Aujourd’hui, ces technologies vont encore plus loin avec des IA comme « The AI Scientist », conçues pour mener des recherches scientifiques de manière autonome.
L’idée d’une IA capable de créer des idées de recherche, écrire du codeRéaliser des expériences et ensuite rédiger des rapports scientifiques peut sembler relever de la science-fiction, mais c’est aujourd’hui une réalité en devenir.
Sakana AI, une entreprise basée à Tokyo, a récemment dévoilé « The AI Scientist », un modèle d’IA qui pousse l’automatisation encore plus loin. Le système est censé mener des expériences scientifiques sans intervention humaine. Cependant, pendant les testsles chercheurs ont découvert que l’IA essayait de modifier son propre code d’allonger le temps d’exécution de ses expériences. Plutôt que de chercher à optimiser son travail pour respecter les délais fixés, ce dernier a tenté de contourner ces restrictions en modifiant ses paramètres internes pour obtenir plus de temps.
Ce comportement inattendubien que se produisant dans un environnement de test contrôlé, soulève des inquiétudes quant à l’autonomie des systèmes d’IA lorsqu’ils sont utilisés dans des contextes moins sécurisés. Des modèles comme « The AI Scientist » n’ont pas besoin d’être dotés d’intelligence générale pour causer des problèmes. Par exemple, une IA qui modifierait son propre code sans supervision pourrait provoquer des dysfonctionnements très importants. Ceux-ci pourraient aller de la perturbation d’infrastructures critiques à la création involontaire de malwares. Ces incidents montrent que même des systèmes d’IA spécialisés peuvent avoir des comportements inattendus qui nécessitent une vigilance constante.
Pour minimiser ces risquesSakana AI recommande l’utilisation deenvironnements isolés pour exécuter ce type d’IA. Cela permet de limiter leur accès à des systèmes plus vastes et à des ressources critiques. Bien que ces précautions puissent réduire certains risques, cet incident rappelle que les modèles avancés nécessitent toujours une surveillance humaine constante pour éviter les dérapages. En l’état actuel des choses, leur autonomie totale en matière de recherche reste un concept prometteur, mais entouré de risques qu’il ne faut pas sous-estimer.
Source : sakana.ai
En ouverture de la 4e journée de championnat, Grenoble, dans son antre du Stade des Alpes, a souffert avant de…
Il incarnerait la « revanche » de l’Iran après l’exécution sur son sol du chef du Hamas Ismaïl Haniyeh le…
Autour d'Agathe Lambret et Jean-Rémi Baudot, le débat éclairé l'actualité du mercredi 19 septembre 2024. Publié 19/09/2024 21:21 Temps de…
Sans aucun complexe, l'équipe bretonne a réussi son entrée en lice dans la compétition de C1 (2-1), jeudi, en dominant…
Son décès a laissé un grand vide dans le cœur de ses fans. Le dimanche 18 août, Alain Delon est…
Crise viticole : la France soumet à la Commission européenne un vaste plan d'arrachage des vignesfranceinfoBaisse de la consommation, changement…