La nouvelle IA d’OpenAI bat l’intelligence humaine sur un test

OpenAI a dévoilé o3, son nouveau modèle d’intelligence artificielle, dans une vidéo publiée le mois dernier. Plutôt que de montrer le modèle en action, la présentation s’est concentrée sur quelques performances techniques. Sam Altman, le CEO d’OpenAI, s’est contenté de qualifier le modèle d’« incroyablement intelligent », sans donner davantage de détails. De quoi intriguer les observateurs, qui attendent une mise en ligne prévue pour janvier.

Une avancée, pas une révolution

Un des premiers tests effectués sur o3 est l’ARC-AGI, une évaluation créée par François Chollet, chercheur en intelligence artificielle chez Google. Ce test est réputé difficile : il ne mesure pas la capacité d’une IA à mémoriser des données, mais plutôt à apprendre de nouvelles règles à partir d’exemples. Les résultats ? o3 a obtenu un score de 76 %, dépassant pour la première fois la moyenne des humains (75 %). Selon le spécialiste français, cette performance marque un véritable « saut qualitatif » dans les capacités des modèles de la série GPT.

Pour autant, ce succès ne signifie pas qu’o3 est une intelligence artificielle générale (AGI). François Chollet reste mesuré : « Passer le test ARC-AGI ne signifie pas atteindre l’AGI. » Même avec son score impressionnant, o3 échoue encore sur certaines tâches simples, comme le déplacement d’un carré coloré dans une grille. Des problèmes que les humains résolvent sans effort.

Ce qui rend o3 intéressant, c’est son approche différente de ses prédécesseurs. OpenAI n’a pas détaillé son fonctionnement, mais François Chollet avance une hypothèse : le modèle utiliserait une nouvelle forme de « recherche en temps réel » pour résoudre les tâches, à la manière de techniques empruntées à AlphaZero, le célèbre programme de DeepMind. Cette méthode pourrait expliquer pourquoi o3 parvient à adapter ses réponses à des problèmes inédits.

Cependant, ce niveau de performance a un coût. Le chercheur souligne que la puissance de calcul nécessaire pour faire tourner o3 reste un frein. Si OpenAI n’a pas dévoilé les ressources exactes utilisées, le modèle semble nécessiter une quantité importante de temps et d’énergie pour produire ses résultats.

Autre ombre au tableau : o3 a été entraîné spécifiquement sur les données du test ARC-AGI. Cela ne diminue pas sa performance, mais ça pose des questions sur la capacité du modèle à généraliser ses acquis en dehors de cet environnement spécifique. Selon François Chollet, il sera intéressant de voir les scores du modèle lorsqu’il sera confronté à des versions inédites du test, prévues dès janvier.

o3 montre donc des progrès intéressants dans la manière dont les modèles d’IA abordent des tâches complexes. Néanmoins, les rêves d’une intelligence artificielle équivalente à celle des humains restent encore hors de portée. Comme le rappelle François Chollet, « vous saurez que l’AGI est là quand il deviendra impossible de concevoir des tâches faciles pour les humains mais difficiles pour les machines». Pour l’instant, ce jour n’est pas encore arrivé.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.