Qu’est-ce que l’utilisation de l’ordinateur par Claude, et comment une IA peut-elle faire fonctionner un ordinateur?

L’utilisation de l’ordinateur (*computer use*) est une nouvelle fonction en bêta publique, annoncée par Anthropic le 22 octobre 2024, qui permet à une version améliorée de Claude 3.5 Sonnet de faire fonctionner un ordinateur comme le fait une personne : en lisant des captures d’écran, en déplaçant le pointeur, en cliquant et en tapant. Elle est expérimentale et commet encore des erreurs, mais c’est la première fois qu’un grand laboratoire d’IA ouvre cette capacité à tous les développeurs.

Qu’est-ce que l’utilisation de l’ordinateur par Claude, et comment…

Hier, le 22 octobre 2024, Anthropic a annoncé trois choses à la fois : une version améliorée de son modèle Claude 3.5 Sonnet, un nouveau modèle petit et rapide appelé Claude 3.5 Haiku, et une capacité qu’elle appelle l’utilisation de l’ordinateur (computer use). C’est la troisième qui attire le plus d’attention. Grâce à elle, Claude peut regarder un écran d’ordinateur, déplacer le pointeur de la souris, cliquer sur des boutons et taper, à peu près comme vous le faites assis à votre bureau.

Anthropic prend soin de parler d’un essai précoce. C’est une bêta publique, ce qui veut dire que toute personne ayant un accès développeur peut l’essayer, mais l’entreprise elle-même reconnaît que la fonction est lente, parfois maladroite et sujette aux erreurs. Elle est lancée maintenant pour que les développeurs puissent signaler ce qui fonctionne et ce qui ne fonctionne pas.

Ce qu’Anthropic a lancé

Voici les nouvelles du jour en un tableau :

Lancement	Ce que c’est	Disponibilité
Utilisation de l’ordinateur (bêta)	Claude fait fonctionner un bureau d’ordinateur au moyen de captures d’écran, du pointeur et du clavier	Développeurs, sur l’API d’Anthropic, Amazon Bedrock ou Vertex AI de Google Cloud
Claude 3.5 Sonnet amélioré	Une version plus puissante du modèle de taille moyenne d’Anthropic, surtout en programmation	Tous les utilisateurs, au même prix et à la même vitesse qu’avant
Claude 3.5 Haiku	La prochaine version du modèle le plus rapide d’Anthropic	Promis pour plus tard ce mois-ci, texte seulement au départ

Le Sonnet amélioré obtient de meilleurs résultats à plusieurs tests. Sur SWE-bench Verified, un ensemble de vrais bogues logiciels que le modèle doit corriger seul, il passe de 33,4 % à 49,0 %. Sur TAU-bench, qui vérifie à quel point un modèle utilise bien des outils en aidant des clients simulés, il grimpe de 62,6 % à 69,2 % pour un magasin de détail et de 36,0 % à 46,0 % pour une compagnie aérienne. Anthropic affirme que le futur modèle Haiku obtient 40,6 % sur SWE-bench Verified.

Avant le lancement, les instituts de sécurité de l’IA des gouvernements américain et britannique ont testé ensemble le nouveau Sonnet. Plusieurs entreprises, dont Asana, Canva, DoorDash et Replit, ont déjà essayé l’utilisation de l’ordinateur pour des tâches qui demandent des dizaines, voire des centaines d’étapes.

Comment fonctionne l’utilisation de l’ordinateur

Jusqu’ici, pour qu’un modèle d’IA agisse dans un logiciel, un développeur devait construire un outil précis pour chaque tâche : une fonction pour chercher une commande, une autre pour envoyer un courriel. L’utilisation de l’ordinateur emprunte une autre voie. Au lieu d’un outil sur mesure pour chaque tâche, Claude apprend des compétences générales pour se servir des mêmes écrans que les gens.

Le processus fonctionne en boucle :

Un développeur donne à Claude un objectif et l’accès à un ordinateur, habituellement une machine virtuelle distincte.
Le logiciel prend une capture d’écran, une image de l’écran, et l’envoie à Claude.
Claude examine l’image et choisit une action, comme « déplacer le pointeur jusqu’au bouton Enregistrer et cliquer ».
Pour viser, Claude compte de combien de pixels (les minuscules points qui composent un écran) le pointeur doit se déplacer horizontalement et verticalement. Anthropic affirme qu’apprendre à Claude à compter les pixels avec précision a été essentiel.
Le logiciel du développeur exécute l’action, prend une nouvelle capture d’écran et la renvoie. La boucle se répète jusqu’à ce que la tâche soit terminée.

Une image utile est celle du folioscope. Claude ne regarde pas une vidéo en direct; il voit une série d’images fixes, une après chaque action. Cela explique l’une de ses faiblesses : un message qui apparaît et disparaît entre deux images peut ne jamais être vu.

Anthropic a entraîné cette compétence sur quelques programmes simples seulement, comme une calculatrice ou un éditeur de texte, sans laisser le modèle accéder à Internet pendant l’entraînement. L’entreprise rapporte que Claude a transposé ces compétences à de nombreux autres programmes, et qu’il lui arrivait même de remarquer une erreur et de réessayer.

Est-ce que ça fonctionne bien?

Sur OSWorld, un banc d’essai (un test standard) de tâches informatiques courantes, Claude obtient 14,9 % quand il ne voit que des captures d’écran, contre 7,8 % pour le meilleur système d’IA suivant. Quand on lui permet plus d’étapes, il atteint 22,0 %. Les humains obtiennent habituellement entre 70 et 75 %. Claude mène donc dans sa catégorie, mais reste loin des capacités humaines.

Anthropic énumère des limites claires. Claude ne peut pas encore glisser-déposer des éléments ni faire de zoom, et le défilement lui est difficile. Même pendant l’enregistrement de ses propres démonstrations, l’équipe a observé des faux pas : Claude a une fois arrêté par accident un enregistrement d’écran, et une autre fois abandonné une tâche de programmation pour parcourir des photos du parc national de Yellowstone.

Quels sont les risques?

Une IA capable de cliquer est plus puissante qu’une IA qui ne fait que parler; Anthropic souligne donc quelques dangers. Le principal est l’injection de prompt (prompt injection) : une page Web ou un document que Claude voit à l’écran pourrait contenir des consignes cachées qui tentent de le détourner de votre demande. Il y a aussi le mauvais usage délibéré, comme le pourriel ou la fraude.

Anthropic affirme avoir construit des classificateurs, de petits programmes qui repèrent quand l’utilisation de l’ordinateur est en cours et si elle semble nuisible. À l’approche des élections américaines, elle détourne aussi Claude de la publication sur les réseaux sociaux, de l’enregistrement de noms de domaine et de l’utilisation de sites Web gouvernementaux. L’entreprise affirme ne pas entraîner ses modèles, par défaut, sur les captures d’écran que les utilisateurs envoient.

Pourquoi c’est important aujourd’hui

The Verge souligne que d’autres assistants, de Copilot Vision de Microsoft à l’application de bureau de ChatGPT d’OpenAI et à Gemini sur Android, peuvent déjà regarder votre écran. Aucun n’a lancé à grande échelle un outil qui clique et tape pour vous. Le pari d’Anthropic est qu’il est plus facile d’adapter le modèle aux logiciels existants que de reconstruire les logiciels autour du modèle.

Pour les personnes qui créent des applications, cela ouvre la porte à l’automatisation de tâches dans des programmes qui n’ont aucune API, comme un vieux logiciel de comptabilité ou un formulaire Web. Pour tout le monde, c’est un premier aperçu des agents, des systèmes d’IA qui effectuent une série d’étapes vers un objectif au lieu de répondre à une seule question.

À essayer : choisissez une petite corvée que vous faites chaque semaine à l’ordinateur, comme copier trois nombres d’un tableur dans un formulaire Web. Écrivez chaque étape sous forme d’une seule consigne (« cliquer sur le champ Nom », « taper le total »). Comptez les étapes. Cette liste, c’est ce qu’un agent comme Claude doit trouver par lui-même, une capture d’écran à la fois.

Comment les développeurs peuvent-ils essayer l’utilisation de l’ordinateur en toute sécurité?

Il vous faut un compte d’API Anthropic, ou un accès par Bedrock ou Vertex AI. Anthropic fournit une configuration de référence qui fait tourner Claude dans une machine virtuelle ou un conteneur, un ordinateur isolé à l’intérieur de votre ordinateur, pour qu’il ne touche jamais à vos vrais fichiers. Commencez par là plutôt que de donner à Claude votre bureau de tous les jours.

Choisissez d’abord des tâches à faible risque, comme le recommande Anthropic : remplir un formulaire de test, ouvrir un fichier, recueillir de l’information sur quelques pages. Gardez les données sensibles et les comptes connectés hors du bac à sable, et évitez les sites où un clic inattendu pourrait acheter, envoyer ou supprimer quelque chose.

Surveillez chaque exécution et lisez les captures d’écran et les actions que Claude rapporte. Si une page affiche un texte qui ressemble à des consignes adressées à l’IA, considérez-le comme un signal d’alarme. Anthropic recueille des commentaires pendant la bêta : les notes que vous prenez sur ce qui échoue sont donc aussi utiles à lui transmettre.