Les systèmes d’intelligence artificielle sont devenus si puissants que nous ne savons plus comment les tester.

Le réservoir est presque vide. Il contenait des examens d’entrée à l’université, des problèmes mathématiques complexes et bien sûr le fameux test de Turing. Mais semaine après semaine, ChatGPT et les systèmes concurrents parviennent à passer tous ces examens, avec des scores de plus en plus élevés. D’où l’idée, lancée cette semaine, de trouver d’autres moyens de juger les progrès des services d’intelligence artificielle (IA) ultra-performants. Cette course s’accélère, alors que les appels à réguler cette technologie se sont multipliés ces derniers jours.

En début de semaine, le Centre pour la sécurité de l’IA (CAIS), qui s’est donné pour mission de minimiser les risques causés par l’IA, en partenariat avec la start-up Scale AI, a lancé un appel. « L’humanité doit maintenir une bonne compréhension des capacités des systèmes d’IA. Les tests existants sont devenus trop faciles et nous ne pouvons plus suivre correctement l’évolution de l’IA, ni savoir ce qui lui manque pour atteindre le niveau d’un expert », selon le CAIS, qui a ainsi proposé un concours, baptisé « Le dernier examen de l’humanité ». Son objectif : créer « le test d’IA le plus difficile au monde ».