De plus en plus puissantes, les IA se préparent à changer d’échelle

Depuis le lancement ChatGPT par OpenAI Fin 2022, l’intelligence artificielle connaît une croissance phénoménale et les startups et les grands groupes de haute technologie se livrent une course à la puissance qui pourrait déboucher sur une intelligence artificielle générale (AGI) plus intelligent que l’esprit humain à tous les niveaux… et qui pourrait être autant une bénédiction qu’un désastre pour l’humanité.

En attendant cette hypothétique émergence, les IA génératives doivent gagner en capacité de traitement, quitte à mobiliser d’immenses ressources (énergie, eau, semi-conducteurs) et tout semble indiquer que nous n’avons encore rien vu.

Dario Amodei, PDG deAnthropiqueune entreprise qui développe l’IA Claudea souligné dans un podcast que nous ne sommes qu’au début des efforts pour améliorer l’IA et que cela nécessitera des investissements colossaux.

100 millions de dollars aujourd’hui, 100 milliards de dollars demain

Il cite le concurrent en exemple GPT-4ole dernier développement d’OpenAI, qui nécessite 100 millions de dollars pour sa formation, représentant le coût des grands modèles d’IA actuels.

Des modèles d’IA coûteux, selon le PDG d’Anthropic 1 milliard de dollars Les outils de formation qui leur sont destinés sont déjà en cours de développement, avec donc une énorme marge de progression à prévoir dans leur capacité à interpréter les données qui leur sont fournies.

Et toujours selon lui, les modèles d’IA coûtent de 10 à 100 milliards de dollars pourraient apparaître avant la fin de la décennie, suggérant implicitement que ces projets sont déjà au moins à l’étude.

Il suggère que si ces projections de coûts sont alignées sur les avancées des algorithmes et l’évolution des composants, des AGI « meilleures que la plupart des humains dans la plupart des domaines » pourraient émerger vers 2030.

Évidemment, avec les « et si », on peut imaginer beaucoup de choses mais Dario Amodei affirme que ce sont des ordres de grandeur qui sont déjà en discussion en interne. Il faut également noter que selon lui, le singularité technologiqueAutrement dit, le moment où l’IA devrait surpasser l’esprit humain ne se produira pas en un instant, mais plutôt au cours d’une progression graduelle s’appuyant sur les modèles précédents.

La croissance de l’IA devra faire face aux limites de la réalité

L’une des questions sera de savoir si le production de composants d’IA pourront suivre puisque les entreprises s’arrachent déjà la production de Nvidia et d’autres fournisseurs, avec des coûts de plusieurs dizaines de milliers de dollars par unité qui, appliqués à des centaines de milliers de GPU intégrés dans des centres de données d’IA, peuvent effectivement se traduire par des montants très importants.

Il y a aussi le fait que les capacités de production des fonderies ne sont pas infinies et ne peuvent être totalement mobilisées pour les seuls besoins de l’IA.

L’autre gros problème est bien sûr celui de laréserve d’énergie qui pose des problèmes croissants et commence à concurrencer d’autres usages. Des solutions devront être trouvées rapidement. nucléaire semble reprendre un peu de couleur à cet égard, en complément des efforts sur les énergies renouvelables.