L’interface entre le siège et l’ordinateur est une IA plutôt qu’un humain… Manipuler un ordinateur et ses applications à l’aide de la souris et du clavier, c’est ce dont est capable la nouvelle version de Claude Sonnet 3.5 d’Anthropic. Une évolution pour le meilleur et peut-être pour le pire.
Conduire nos voitures, répondre à nos mails, générer des images et des vidéos pour nous… Bientôt, IAIA pourront nous remplacer dans de vastes domaines de notre vie, pour le meilleur et peut-être pour le pire. Pour le meilleur, mieux vaut s’appuyer sur le côté éthique et vertueux du cabinet Anthropic qui développe le chatbot Claude. Ses fondateurs sont d’anciens membres d’OpenAI partis en raison des orientations prises par l’entreprise. Ils misent sur l’intérêt public de l’IA plutôt que sur le profit immédiat, avec les conséquences catastrophiques que cela pourrait entraîner. Et, paradoxalement, pour le pire, Anthropic vient de publier une version améliorée de Claude 3.5 Sonnet. Sa particularité est d’être capable de comprendre et d’interagir avec n’importe quel applicationapplication bureau. En d’autres termes, l’IA peut remplacer l’interface « siège-écran-clavier », c’est-à-dire Homo sapiensHomo sapiens.
Ainsi, grâce à une API appelée « Utilisation de l’ordinateur », le nouveau modèle disponible en version bêta ouverte peut imiter les frappes au clavier, les clics sur les boutons et les gestes de la souris. Pour arriver à ce résultat, Anthropic a entraîné son modèle à voir et décrypter ce qui se passe à l’écran. via attrape. Ensuite, il utilise les outils logiciels à l’écran pour effectuer des tâches. Pour déplacer le pointeur de la souris au bon endroit et cliquer, Claude compte le nombre de pixelspixels verticale et horizontale. En fin de compte, cela donne l’illusion d’une personne réelle assise devant son ordinateurordinateur.
On imagine très vite l’intérêt d’un tel système en mode « télétravail ». Pratique pour faire semblant d’être devant l’ordinateur pendant une sieste. On peut aussi imaginer une forme de mise en abîme. Avec cette capacité, devant l’ordinateur, Claude est potentiellement capable d’utiliser ChatGPTChatGPTGémeaux et peut-être même lui-même…
Plus sérieusement, cette interface autonome est préoccupante si elle est utilisée à mauvais escient. Mis en œuvre par des hackers sur un ordinateur, il pourrait permettre d’exploiter directement des vulnérabilités d’applications et ce n’est qu’un exemple. Sans nier que le nouveau Claude Sonnet 3.5 pourrait être utilisé à de mauvaises fins, Anthropic souligne les avantages que l’on peut tirer de son utilisation.
IA clavier et souris
Pour eux, c’est l’utilisation qui déterminera aussi ce qu’on peut faire avec cet outil. Son utilisation augmentera le niveau de sécurité en conséquence. Et dans tous les cas, les humains gardent le contrôle en fournissant des invites spécifiques. Ce sont eux qui dirigent les actions de Claude. Cela peut se faire à travers des exemples comme « utilise les données de mon ordinateur et en ligne pour remplir ce formulaire « , selon un entretien avec un manager d’Anthropic réalisé par le média TechCrunch. Claude a par exemple été testé sur sa capacité à réserver un vol ou à modifier sa réservation. Il n’a réussi que dans la moitié des cas. Cela dit, il n’est pas rare qu’un humain rencontre également des difficultés avec une interface de réservation en ligne. Mais ce n’est que le début…
Si c’est une première pour Claude, l’exécution de commandes sur un ordinateur comme un utilisateur, pour surfer sur InternetInternet par exemple, ce n’est pas une nouveauté dans leuniversunivers Les IA. Certains processus spécifiques sur un ordinateur peuvent déjà être exploités par une interface basée sur GPT-4o, par exemple. Mais le modèle d’Anthropic serait plus puissant et plus robuste. Il peut également s’auto-corriger en essayant d’accomplir une tâche différemment lorsqu’il rencontre des obstacles. Il sait également atteindre des objectifs nécessitant des centaines d’étapes.
Cependant, pour le moment, Anthropic admet que la nouvelle version de Claude a quelques difficultés avec les actions de base comme le défilement et le zoom et peut également manquer certaines actions et notifications à cause de son système d’analyse. captures d’écrancaptures d’écran. Bref, si le principe est là, son exploitation de manière fluide est loin d’être gagnée et encore moins lorsqu’il s’agit de mener des actions abusives. Au niveau de la sécurité, pour le moment, des restrictions empêchent Claude de publier sur le réseaux sociauxréseaux sociauxcréer des comptes en ligne et interagir avec les sites Web du gouvernement. Malgré leur volonté de minimiser les risques, ces restrictions témoignent d’un certain enthousiasme de la part d’Anthropic quant à l’usage qui pourrait être fait de cette interface.
