Entraîner l’intelligence artificielle avec des données générées par l’IA mène à l’absurdité

Publié le 02 août 2024 à 16h18 / Modifié le 03 août 2024 à 17h58

C’est un peu comme l’histoire du serpent qui se mord la queue : nourrir des générations successives d’un modèle d’intelligence artificielle avec des textes synthétiques créés par la génération précédente d’IA finit par produire des résultats absurdes, ce que les scientifiques appellent un « effondrement » – effondrement Ceci est confirmé par des travaux dirigés par Yarin Gal (Université d’Oxford, Grande-Bretagne), et publiés dans NatureDes travaux antérieurs publiés sur ArXiv.org avaient déjà mis en évidence ce problème avec les images.

En l’absence de ressources informatiques massives, un groupe basé en Grande-Bretagne et au Canada a travaillé avec un générateur de langage relativement modeste (LLM) avec seulement 125 millions de paramètres – les modèles les plus performants comme ChatGPT-4 en comptent des milliers de milliards. « L’effondrement étant un phénomène statistique général, nous pouvons affirmer avec certitude, d’après nos résultats, qu’il se produit quelle que soit la taille des modèles », explique Ilia Shumailov (Université d’Oxford), premier auteur de l’article. « Les modèles génèrent toujours des erreurs ; si ces erreurs sont ingérées par un modèle, qui ajoute ses propres erreurs, et que le processus se répète, les erreurs finissent par prendre le dessus. »