Le nouveau modèle d’OpenAI, o1 (aussi connu sous le nom de Strawberry), peut résoudre des énigmes et des problèmes mathématiques… et il est également plutôt efficace pour aider à créer des armes biologiques. Pour la première fois, le créateur de ChatGPT a évalué l’un de ses modèles comme présentant un risque « moyen » de contribuer au développement d’armes biologiques, chimiques, radiologiques et nucléaires. Le dernier en date, GPT-4, a été évalué comme « faible » sur cette question. Selon la firme américaine, qui a publié un long rapport sur l’évaluation de son modèle, ce risque a augmenté de « 1,5 % ». de manière significative « .
o1 se démarque des modèles précédents d’OpenAI par sa capacité à mieux imiter le raisonnement humain en divisant chaque instruction en sous-tâches, appelées « chaînes de pensée » dans le jargon. Déjà disponible en version « aperçu » (aperçu) et « mini » (une version allégée), ce modèle à 11 millions d’utilisateurs payants est donc un premier pas vers l’autonomie de l’IA promise par l’industrie, même si cet objectif reste lointain.
Moins d’hallucinations mais…
Sur plusieurs aspects, et notamment en termes de sécurité, o1 fait mieux que ses prédécesseurs. OpenAI estime que son modèle produit moins souvent des contenus illicites et stéréotypés. Car ses capacités de « raisonnement » lui permettent de mieux prendre en compte les garde-fous établis par ses développeurs lorsqu’il répond à des requêtes potentiellement dangereuses (des prompts dans le jargon), explique l’entreprise. Le modèle serait aussi moins sujet aux hallucinations, cette propension de l’IA à affirmer avec détermination un fait faux.
Paradoxalement, son « intelligence supérieure », selon les termes d’OpenAI, en ferait également un outil plus dangereux pour d’autres tâches, notamment pour aider à planifier des attaques bioterroristes. Plus que les modèles précédents ou qu’une simple recherche sur Internet.
Ce risque est régulièrement étudié par le secteur, car il est, dans la catégorie des « scénarios catastrophes », celui dont les barrières à l’entrée sont les plus faibles, comparé à une guerre nucléaire par exemple.
» Les modèles (o1 preview et o1 mini, ndlr) ne permettent pas aux non-experts de créer des menaces biologiques, car cela nécessite des compétences pratiques de laboratoire que les modèles ne peuvent pas remplacer. « , nuance toutefois le rapport.
o1 sait manipuler les utilisateurs
Quelle que soit la nuance et le fait que ce risque puisse être maîtrisé selon les entreprises, cette évaluation a créé une vague de panique. « dominateurs »ces chercheurs, développeurs et autres passionnés d’IA sont convaincus que l’intelligence artificielle comporte des risques potentiellement dévastateurs pour l’humanité, et qu’il est plus qu’urgent de s’en préoccuper dès aujourd’hui.
« Si OpenAI a effectivement franchi un niveau de risque moyen pour les armes CBRN (chimiques, biologiques, radiologiques et nucléaires) comme il le prétend, cela ne fait que renforcer l’importance et l’urgence d’adopter une législation comme la SB 1047 pour protéger le public. « , a averti le chercheur canadien Yoshua Bengio, considéré comme l’un des pères de l’intelligence artificielle, dans Newsweek. La loi SB 1047, en discussion en Californie depuis plusieurs mois, vise à réguler les entreprises du secteur pour empêcher l’IA de provoquer « dommages considérables ».
Tout aussi inquiétant, le document d’évaluation d’OpenAI indique que o1 peut être en mesure de tromper les utilisateurs en leur faisant croire qu’il est en phase avec les objectifs fixés par ses développeurs, mais sans les suivre réellement. Cette capacité à manier des stratagèmes ne lui permet pas de » causer des dommages catastrophiques « , nuance toutefois Apollo Research, l’organisme en charge d’évaluer le modèle Open AI sur cet aspect, mais reste à surveiller pour les développements futurs.
Une refonte cosmétique du comité de sécurité ?
Ces nouveaux risques associés à o1 font écho à une autre décision de l’entreprise. Lundi soir, OpenAI a déclaré dans un billet de blog que le comité « Sûreté et sécurité » qui a notamment évalué son dernier modèle devenait un groupe de surveillance « indépendant ».
Exit Sam Altman, le PDG de l’entreprise, et Bret Taylor, le président du conseil d’administration, qui siégeaient jusqu’alors à cette instance lancée en mai 2024. Le comité sera désormais présidé par Zico Kolter, professeur à Carnegie Mellon, avec à ses côtés Adam D’Angelo, PDG de Quora, Paul Nakasone, général de l’armée américaine à la retraite, et Nicole Seligman, ancienne vice-présidente exécutive de Sony. La présence de Sam Altman, PDG d’OpenAI, au sein de ce comité, censé être détaché de toute logique commerciale, avait été critiquée.
Si cette décision envoie un bon signal, le sérieux de l’entreprise sur les questions de sécurité est régulièrement remis en cause depuis plusieurs mois. Le sujet était au cœur du départ de Sam Altman puis de son retour spectaculaire à la tête de l’entreprise en novembre dernier. Le petit groupe de membres du conseil d’administration à l’origine de son limogeage lui reprochait son manque de communication, mais aussi son manque de considération pour les risques liés à l’IA. Après le retour de Sam Altman (plaidé par la grande majorité des salariés), ce petit groupe a été prié de prendre la sortie.
La mutation de l’entreprise, créée à l’origine pour développer une IA « bénéfique à toute l’humanité », vers un modèle purement commercial semble amorcée. Les doutes se sont accrus au printemps dernier, lorsqu’Ilya Sutskever, l’une des figures de proue d’OpenAI et leader de la révolte contre Sam Altman, a quitté le navire. L’ancien responsable scientifique de l’organisation incarnait le côté « sécurité » de l’entreprise. Ce chercheur, qui vient de lancer une nouvelle start-up, est connu pour ses idées radicales sur l’avènement inéluctable d’une « intelligence artificielle générale » (un système supérieur en tous points à l’humain) et l’importance de l’aligner sur les principes humains.
La quête du profit avant tout
Sa démission a été rapidement suivie par d’autres départs de chercheurs en charge des questions de sécurité, dont Jan Leike, qui a vu son équipe se dissoudre dans la foulée. L’ancien responsable du « superalignement » a alors clairement expliqué les raisons de son départ sur X :
« Ces derniers mois, mon équipe a navigué à contre-courant. Nous avons parfois eu du mal à accéder à l’infrastructure informatique et il est devenu de plus en plus difficile de mener ces recherches cruciales (sur la sécurité et l’impact des modèles, NDLR). (…) Construire des machines plus intelligentes que les humains est une entreprise intrinsèquement dangereuse. (…) Mais ces dernières années, les processus de sécurité ont été relégués au second plan par rapport au développement de produits convaincants. »
Au même moment, Helen Toner et Tasha McCauley, deux anciennes membres du conseil d’administration évincées après l’épisode du licenciement de Sam Altman, écrivaient une chronique assassine dans L’économisteremettant en cause le fonctionnement de la firme de San Francisco.
« Nous pensons que l’autorégulation ne peut pas résister de manière fiable à la pression des incitations au profit. Étant donné le vaste potentiel d’impacts positifs et négatifs de l’IA, il ne suffit pas de supposer que ces incitations seront toujours alignées sur le bien commun. »
Il n’est pas certain que le ménage effectué au sein du comité de sécurité suffira à dissiper les doutes. D’autant que l’entreprise continue de jouer sur les deux tableaux. Elle s’est notamment positionnée contre la loi californienne SB 1047 visant à mieux réguler l’IA. Elle poursuit également ses ambitions de croissance rapide dans le but d’écraser sa concurrence. Afin de lever de nouveaux fonds, OpenAI prévoit même de changer sa structure en supprimant le plafond qui était jusqu’alors imposé aux bénéfices. Nouvelle preuve que le profit a gagné la partie.
