# Dans quelles tâches les agents d’IA sont-ils fiables, et où échouent-ils encore?

Date: 2025-12-23 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/agents-ia-taches-fiables-echecs/

**Answer:** Les agents d’IA sont le plus fiables pour des tâches courtes et bien définies qui donnent une rétroaction claire, comme exécuter du code et vérifier si les tests passent, ou rassembler l’information de quelques sources dans un format fixe. Ils échouent encore souvent sur les longues tâches, les tâches aux objectifs flous ou aux nombreuses règles à suivre, et chaque fois qu’ils doivent remarquer par eux-mêmes que quelque chose a mal tourné; un succès qui paraît bon une fois n’est souvent pas reproductible.

Un **agent d’IA** est un système dans lequel un modèle de langage choisit des actions, comme chercher, cliquer, exécuter du code ou appeler le logiciel d’une entreprise, et continue jusqu’à ce qu’une tâche soit terminée. Cette année, chaque grand laboratoire en a lancé un, et les démonstrations les font paraître capables de presque tout. La recherche donne un portrait plus utile : les agents sont bons pour certains types de travail, peu fiables pour d’autres, et la ligne entre les deux est assez prévisible.

L’idée la plus importante est la différence entre la **capacité** (peut-il jamais faire cela?) et la **fiabilité** (le fait-il chaque fois?). La plupart des manchettes rapportent la première. Pour du vrai travail, c’est la seconde qu’il vous faut.

## Ce que montrent les bancs d’essai

Trois études publiées, chacune sous un angle différent, pointent vers le même constat.

**La longueur de la tâche compte beaucoup.** Le groupe de recherche METR a chronométré des personnes compétentes sur des tâches de logiciel et de recherche, puis a mesuré la longueur des tâches qu’un agent pouvait terminer. Dans son article de mars 2025, Claude 3.7 Sonnet réussissait 50 % du temps des tâches qui prennent environ une heure à un expert. Pour un taux de réussite de 80 %, la longueur tombait à environ 15 minutes. METR a constaté le même écart d’un modèle à l’autre : la longueur de tâche qu’un agent gère de façon fiable est environ cinq fois plus courte que celle qu’il réussit la moitié du temps. METR rapporte aussi que ces horizons doublent environ tous les sept mois depuis 2019; les limites bougent donc vite, mais l’écart entre « parfois » et « habituellement » persiste.

**La constance est plus faible que ne le laissent croire les résultats ponctuels.** L’étude τ-bench (tau-bench) place des agents dans des conversations simulées de service à la clientèle où ils doivent utiliser des outils et suivre une politique écrite. Elle a introduit **pass^k** : la probabilité qu’un agent réussisse la même tâche à chacune de k tentatives. Même GPT-4o, un modèle puissant à la parution de l’article en 2024, a résolu moins de la moitié des tâches, et dans le contexte de la vente au détail, sa probabilité de réussir huit fois sur huit tombait sous 25 %.

**Utiliser un vrai ordinateur reste difficile.** Quand OpenAI a présenté son agent qui utilise l’ordinateur, en janvier 2025, elle a rapporté un taux de réussite de 38,1 % à OSWorld, un test de tâches informatiques courantes, contre 72,4 % pour des personnes. OpenAI a noté que des tâches Web plus simples se passaient beaucoup mieux que les bancs d’essai plus difficiles.

## Où les agents tendent à réussir, et où ils échouent

En combinant ces constats avec l’analyse de METR sur les raisons des échecs, on obtient un classement pratique :

| Plus fiable | Moins fiable |
|---|---|
| Tâches courtes avec un point d’arrivée clair | Longues tâches de plusieurs heures |
| Rétroaction claire (les tests passent, le fichier existe, les totaux concordent) | Aucun signal que quelque chose a mal tourné |
| Peu de règles, énoncées clairement | Beaucoup de politiques à suivre à la fois |
| Information fournie ou facile à trouver | L’agent doit décider quoi chercher |
| Erreurs faciles à annuler | Actions irréversibles (paiements, courriels, suppressions) |

Les évaluateurs de METR ont constaté de vrais progrès dans l’utilisation des outils et dans la capacité à se remettre d’une erreur plutôt que de répéter une action ratée. Mais les agents avaient encore du mal dans des contextes plus « brouillons », sans rétroaction claire, ou quand ils devaient aller chercher l’information par eux-mêmes. Les tâches de son banc d’essai étaient aussi bien plus ordonnées que la plupart des emplois : elles obtenaient en moyenne 3,2 sur une échelle de « désordre » de 16 points, alors que METR situe un vrai travail, comme rédiger un solide article de recherche, entre 9 et 15.

## Un plan pilote concret

Supposons qu’un petit cabinet comptable veuille qu’un agent récupère les relevés bancaires mensuels dans un dossier partagé, en extraie les totaux et remplisse un tableur sommaire. Avant de lui faire confiance, menez un projet pilote de deux semaines :

1. **Définissez le succès avec précision.** « Chaque total du tableur correspond au relevé au cent près, et aucun fichier n’est sauté. »
2. **Créez 20 cas de test** à partir de mois passés dont vous connaissez déjà les bonnes réponses, y compris des cas embêtants : un PDF numérisé, un relevé dans un autre format, un mois sans activité.
3. **Exécutez chaque cas trois fois.** Notez réussite ou échec pour chaque exécution dans un tableau simple.
4. **Lisez les échecs.** Notez si l’agent a mal lu un nombre, choisi le mauvais fichier ou arrêté trop tôt. Chaque type d’échec a une solution différente.
5. **Fixez un seuil à l’avance.** Par exemple, chaque cas doit réussir trois fois sur trois avant de tourner sans révision; en deçà, une personne vérifie chaque résultat.
6. **Gardez des humains sur l’étape irréversible.** L’agent peut préparer une ébauche; une personne approuve avant que quoi que ce soit soit envoyé à un client.

Un résultat à titre d’illustration : 16 cas sur 20 réussissent aux trois exécutions, trois réussissent parfois, et un, le PDF numérisé, échoue toujours. C’est une réponse utile. L’agent peut traiter les relevés standard avec des vérifications ponctuelles, tandis que les fichiers numérisés restent manuels.

> **À essayer :** prenez une tâche que vous aimeriez confier à un agent et écrivez la définition du succès en une phrase, comme à l’étape 1. Si vous n’arrivez pas à l’écrire, la tâche n’est pas encore prête pour un agent.

## Comment tester un agent sur votre propre tâche?

Servez-vous de votre propre travail passé, pas d’une démonstration de fournisseur. Rassemblez de vrais exemples dont vous connaissez le résultat correct, y compris les cas difficiles et inhabituels, parce que c’est là que les agents cassent. Vingt exemples sont un départ raisonnable pour un projet pilote; davantage donne un portrait plus clair.

Exécutez chaque exemple plusieurs fois et comptez combien d’exécutions réussissent, pas seulement si l’une d’elles a réussi. Un agent qui réussit un cas au premier essai, mais l’échoue au troisième n’est pas fiable pour ce cas, et c’est exactement ce que pass^k sert à détecter. Vérifiez les résultats d’après l’état final, comme le fait τ-bench : le tableur est-il juste, le bon fichier a-t-il été enregistré, plutôt que le message de l’agent paraît-il assuré?

Enfin, tenez un journal de chaque action de l’agent et passez les échecs en revue par type. Beaucoup peuvent être corrigés en restreignant la tâche, en ajoutant une vérification que l’agent doit réussir avant de terminer ou en retirant un outil qu’il utilise mal. Quand les résultats restent stables pendant plusieurs semaines, élargissez la responsabilité de l’agent une étape à la fois.

## Sources

- Measuring AI Ability to Complete Long Tasks: https://arxiv.org/abs/2503.14499v1
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains: https://arxiv.org/abs/2406.12045v1
- Computer-Using Agent: https://openai.com/index/computer-using-agent/