# Que peuvent vraiment faire les agents d’IA qui utilisent un ordinateur en 2026?

Date: 2026-10-28 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/agents-ia-qui-utilisent-un-ordinateur-2026/

**Answer:** En octobre 2026, un agent d’utilisation d’ordinateur peut regarder un écran, cliquer, taper et passer d’une application ordinaire à l’autre assez bien pour terminer des tâches routinières et clairement décrites, comme remplir un formulaire à partir d’un tableur, recueillir des renseignements sur quelques sites Web ou tester une page Web. Il reste plus lent qu’une personne, lit mal certains écrans, annonce parfois un succès qu’il n’a jamais vérifié et peut être trompé par le texte qu’il lit; il lui faut donc un environnement isolé, des accès restreints et une personne qui approuve tout ce qui compte.

Un agent d’utilisation d’ordinateur (*computer use*) est un modèle de langage qui se sert d’un ordinateur comme vous : il reçoit une capture d’écran, décide où cliquer ou quoi taper, envoie cette action, reçoit une nouvelle capture et recommence. Il n’a besoin d’aucune connexion spéciale avec l’application qu’il utilise. Si une personne peut le faire avec une souris et un clavier, l’agent peut au moins essayer.

L’idée a maintenant deux ans. Ce qui a changé en octobre 2026, c’est moins la boucle de base que tout ce qui l’entoure : les agents agissent plus vite, peuvent envoyer plusieurs actions d’un coup, peuvent zoomer sur du petit texte et sont livrés avec des défenses intégrées contre le contenu Web hostile. Le bilan honnête : ils s’acquittent bien des tâches routinières et bien décrites, mais exigent encore une supervision pour tout ce qui coûte de l’argent, envoie un message ou touche des données privées.

## Ce que l’agent fait réellement

L’outil actuel d’utilisation d’ordinateur d’Anthropic pour Claude donne au modèle un ensemble de 17 actions, dont prendre une capture d’écran, cliquer, taper et zoomer. Votre propre programme exécute ces actions sur une machine que vous contrôlez, habituellement une machine virtuelle ou un conteneur. Le modèle peut désormais envoyer un *lot* de plusieurs actions en un seul tour, par exemple cliquer dans un champ, taper un nom, appuyer sur Tab, taper une date. C’est plus rapide, mais cela veut aussi dire qu’une étape entière peut se faire avant que quiconque regarde.

Pour les tâches qui ne quittent jamais le navigateur Web, Anthropic oriente maintenant les développeurs vers un outil de navigateur distinct, qui lit la page elle-même et agit sur elle plutôt que sur des pixels. C’est aussi une règle utile pour quiconque choisit un produit : si la tâche se passe entièrement dans des pages Web, un agent de navigateur est en général plus simple et plus fiable qu’un agent qui pilote un bureau complet.

Les bons usages aujourd’hui :

- copier des données entre deux applications qui ne communiquent pas, comme un tableur et un vieux formulaire Web;
- recueillir les mêmes quelques renseignements sur plusieurs pages Web dans un tableau;
- parcourir une application Web pour vérifier qu’une nouvelle fonction marche, comme le ferait un testeur;
- les corvées lentes en arrière-plan, quand personne n’attend le résultat.

## Quelle est leur performance, mesurée?

L’étalon habituel est **OSWorld**, un banc d’essai de 369 tâches réelles dans de vrais systèmes d’exploitation, chacune vérifiée par un script. À sa première publication, des personnes réussissaient environ 72 % des tâches, et le meilleur modèle seulement environ 12 %. En janvier 2025, OpenAI a annoncé 38,1 % pour l’agent derrière Operator. Le banc d’essai a été nettoyé et relancé sous le nom d’OSWorld-Verified en juillet 2025, et ses responsables exécutent maintenant eux-mêmes les soumissions au classement; les résultats publiés depuis se comparent donc mieux que les anciens.

Deux mises en garde quand vous lisez le chiffre d’un fournisseur. D’abord, une tâche de banc d’essai est courte et formulée avec précision; la vôtre ne l’est probablement pas. Ensuite, un taux de réussite unique cache *quelles* tâches échouent. Un agent qui réussit 70 % des tâches du banc d’essai peut quand même échouer à tout coup sur le seul formulaire que votre bureau utilise. Le seul résultat qui compte pour vous est celui que vous mesurez sur votre propre travail.

## Un exemple concret : une saisie de données supervisée

Disons que vous devez copier 40 fiches de fournisseurs d’un tableur vers un portail Web sans bouton d’importation. Voici une démarche qu’une personne débutante et prudente peut suivre avec n’importe quel produit d’utilisation d’ordinateur.

1. **Isolez-le.** Faites tourner l’agent dans sa propre machine virtuelle ou dans un profil de navigateur distinct, sans mots de passe enregistrés, sans courriel et sans autres onglets.
2. **Restreignez le Web.** Si le produit le permet, limitez l’agent au domaine du portail.
3. **Commencez par trois fiches**, pas 40, et regardez.
4. **Demandez-lui de vérifier ses propres étapes**, avec un prompt comme celui ci-dessous.
5. **Relisez le journal** des actions et comparez trois fiches à la main avant de le laisser continuer.

```prompt
Tu vas copier les fiches de fournisseurs du tableur ouvert vers le portail des fournisseurs, une ligne à la fois.
Utilise seulement le portail à l’adresse déjà ouverte. N’ouvre aucun autre site.
Après chaque fiche, prends une capture d’écran et dis en une phrase ce qu’elle montre et si la fiche a été enregistrée correctement. Sinon, arrête-toi et préviens-moi.
Ne clique pas sur « Soumettre le lot », « Supprimer » ni sur quoi que ce soit qui envoie un courriel. Quand les trois lignes d’essai sont faites, arrête-toi et attends-moi.
```

La ligne sur les captures d’écran vient directement d’une faiblesse connue : la documentation d’Anthropic note que le modèle agit parfois comme si une étape avait réussi sans avoir regardé, et recommande de lui demander de confirmer chaque résultat à partir d’une nouvelle capture.

> **À essayer :** choisissez une tâche ennuyeuse que vous faites chaque semaine et qui prend dix clics ou moins. Rédigez-la en étapes numérotées qu’un employé temporaire pourrait suivre, puis confiez-la à un agent d’utilisation d’ordinateur dans un environnement isolé et comptez combien de cinq essais se terminent correctement.

## Où échouent-ils encore, et comment les superviser?

Anthropic énumère clairement les points faibles. Les agents sont plus lents qu’une personne. Ils se trompent sur l’endroit où cliquer, choisissent la mauvaise action, font défiler les pages de façon peu fiable, peinent avec les tableurs et les applications peu courantes, et font moins bien quand une tâche touche plusieurs programmes. Les longues tâches amplifient tout cela, parce qu’un mauvais clic au début peut envoyer toute la suite sur une fausse piste.

L’échec le plus grave n’est pas la maladresse, mais **le fait d’être trompé**. Un agent lit tout ce qui est à l’écran, et une page Web, un courriel ou une image peut contenir du texte qui tente de lui donner de nouveaux ordres. Claude utilise maintenant des classificateurs qui cherchent ces instructions cachées dans les captures d’écran et amènent le modèle à vous consulter avant d’agir, et d’autres fournisseurs ont des vérifications semblables, mais aucun ne prétend qu’elles sont complètes. Traitez chaque page que l’agent visite comme une source possible de tels pièges.

La supervision repose donc sur quatre habitudes tirées des conseils des fournisseurs eux-mêmes :

| Habitude | Ce qu’elle empêche |
|---|---|
| Une machine ou un profil distinct, avec un minimum de droits | Qu’une erreur ou une attaque atteigne vos vrais fichiers et comptes |
| Aucune session ouverte ni donnée sensible, sauf si la tâche l’exige | Le vol de renseignements que l’agent peut voir |
| Une liste de sites autorisés | Le contact avec des pages hostiles |
| Une personne approuve les paiements, les envois, les suppressions et l’acceptation de conditions | Des actions irréversibles faites par erreur |

Ajoutez-en une de votre cru : conservez le journal des actions et lisez-le. Quand une tâche échoue deux fois de la même façon, réécrivez les instructions au lieu de réessayer. Et quand une tâche exige une précision parfaite, comme la paie ou tout ce qui est juridique, limitez l’agent à préparer une ébauche qu’une personne termine.

## Sources

- Computer use tool: https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments: https://os-world.github.io/
- Computer-Using Agent: https://openai.com/index/computer-using-agent/