Le nouveau modèle Claude 3.5 Sonnet d’Anthropic devance OpenAI, Microsoft ou Apple, avec la possibilité de prendre le contrôle de la souris et du clavier d’un ordinateur. L’intelligence artificielle devient alors capable de réaliser des tâches pour son utilisateur.
Demain, les intelligences artificielles génératives surveilleront-elles en permanence ce que font leurs utilisateurs sur leurs écrans ? C’est très probable, puisque l’observation en temps réel leur permettrait de fournir une aide contextuelle.
OpenAI rêve d’un ChatGPT capable de vous guider dans votre travail sur ordinateur, Apple prépare un Siri qui analyse le contenu de votre écran pour début 2025, tandis que Microsoft compte prendre plein de captures d’écran de votre PC, pour que son Copilot vous aide.
Anthropic, le rival d’OpenAI derrière les modèles Claude, vient de devancer ses concurrents. Le nouveau modèle Claude 3.5 Sonnet dispose d’un mode « utilisation de l’ordinateur », capable de contrôler un ordinateur à partir d’invites.
« Claude, peux-tu modifier mes paramètres puis répondre à mes cinq derniers emails ? »
Claude 3.5 Sonnet est encore expérimental, dans le sens où contrôler un ordinateur est encore très lent. Le logiciel prend des captures d’écran de votre PC ou Mac, analyse le contenu à l’écran et envoie une commande pour déplacer la souris, cliquer et éventuellement écrire.
Il y a évidemment de la latence aujourd’hui, mais c’est une première pour une IA. Comprendre une image lui permet techniquement de tout faire, puisque Claude peut faire des recherches tout seul.
Avec ce contrôle automatisé, Anthropic pourrait transformer plusieurs métiers, comme le dépannage à distance, l’écriture de code, la production de documents compliqués et répétitifs ou encore l’éducation.
Il existe aujourd’hui plusieurs limites, comme le fait que le modèle n’est pas encore capable d’apprendre des choses tout seul, mais la promesse est là (Anthropic dit avoir observé des bugs là où Claude effectuait ses propres recherches en voyage, sans qu’on le lui demande). . Un jour, Windows et macOS intégreront probablement leur propre IA, avec un assistant vocal sophistiqué capable de faire ce que vous lui demandez. OpenAI rêve également d’intégrer cette possibilité dans son application ChatGPT, disponible sur macOS et bientôt Windows.
Dans un premier temps, Anthropic réserve le contrôle de l’ordinateur aux développeurs, afin d’obtenir un premier retour d’expérience. L’entreprise envisage alors de l’ouvrir au grand public, avec certainement une réponse rapide d’OpenAI. Apple et Microsoft mettront probablement du temps à intégrer des systèmes similaires.