Entraîner l’intelligence artificielle avec des données générées par l’IA mène à l’absurdité
Entraîner des IA génératives avec des textes créés par des IA génératives conduit à l’effondrement de l’IA
Les chercheurs ont tenté l’expérience avec des documents encyclopédiques : les modèles se perdent entre les époques et les réalités alternatives
« Si les modèles sont formés à l’avenir avec du contenu généré par l’IA – souvent plus correct linguistiquement et orthographiquement – seront-ils toujours capables d’interagir avec les données produites par les humains ? », demande un chercheur.
C’est un peu comme l’histoire du serpent qui se mord la queue : nourrir des générations successives d’un modèle d’intelligence artificielle avec des textes synthétiques créés par la génération précédente d’IA finit par produire des résultats absurdes, ce que les scientifiques appellent un « effondrement » – effondrement Ceci est confirmé par des travaux dirigés par Yarin Gal (Université d’Oxford, Grande-Bretagne), et publiés dans NatureDes travaux antérieurs publiés sur ArXiv.org avaient déjà mis en évidence ce problème avec les images.
En l’absence de ressources informatiques massives, un groupe basé en Grande-Bretagne et au Canada a travaillé avec un générateur de langage relativement modeste (LLM) avec seulement 125 millions de paramètres – les modèles les plus performants comme ChatGPT-4 en comptent des milliers de milliards. « L’effondrement étant un phénomène statistique général, nous pouvons affirmer avec certitude, d’après nos résultats, qu’il se produit quelle que soit la taille des modèles », explique Ilia Shumailov (Université d’Oxford), premier auteur de l’article. « Les modèles génèrent toujours des erreurs ; si ces erreurs sont ingérées par un modèle, qui ajoute ses propres erreurs, et que le processus se répète, les erreurs finissent par prendre le dessus. »
Toutes les dernières actualités à portée de main !
Abonnez-vous à l’offre « Digital » et vivez l’actualité en temps réel avec un accès illimité à nos contenus.
cliqué » href= »https://www.letemps.ch/connexions »>ABONNEZ-VOUS
De bonnes raisons de s’abonner au Temps :
- Accès illimité à tout le contenu disponible sur le site.
- Accès illimité à tout le contenu disponible sur l’application mobile
- Forfait de partage de 5 articles par mois
- Consultation de la version numérique du journal à partir de 22h la veille
- Accès aux suppléments et à T, le magazine du Temps, au format e-paper
- Accès à un ensemble d’avantages exclusifs réservés aux abonnés
Déjà inscrit?
Ouvrir une session
