Qu’est-ce qu’Operator d’OpenAI, et comment une IA utilise-t-elle un navigateur Web pour vous?

Operator est un agent d’IA d’OpenAI, lancé comme aperçu de recherche le 23 janvier 2025, qui ouvre son propre navigateur Web et accomplit des tâches pour vous en regardant les pages et en cliquant, en faisant défiler et en tapant, par exemple pour remplir des formulaires ou commander l’épicerie. Il fonctionne avec un nouveau modèle appelé Computer-Using Agent et est d’abord offert aux abonnés de ChatGPT Pro aux États-Unis, l’utilisateur pouvant reprendre la main à tout moment.

Qu’est-ce qu’Operator d’OpenAI, et comment une IA utilise-t-elle…

Hier, le 23 janvier 2025, OpenAI a lancé Operator, son premier agent d’IA destiné au grand public. Un agent, dans ce sens, est une IA qui fait un travail pour vous au lieu de seulement répondre à des questions : vous décrivez une tâche, et elle en exécute les étapes par elle-même. Le lieu de travail d’Operator, c’est le Web. Il ouvre son propre navigateur, regarde chaque page et agit dessus, à peu près comme vous le feriez.

Operator porte l’étiquette d’aperçu de recherche (research preview), ce qui veut dire qu’OpenAI s’attend à des erreurs et prévoit de le modifier en fonction des commentaires. Pour l’instant, il n’est offert qu’aux abonnés de ChatGPT Pro, le forfait à 200 $ US par mois, aux États-Unis, sur operator.chatgpt.com.

Ce qu’OpenAI a lancé

OpenAI propose des tâches quotidiennes et répétitives : remplir des formulaires, commander l’épicerie, réserver une table, acheter des billets, et même créer des mèmes. Vous tapez une demande, une petite fenêtre montre le navigateur d’Operator, et un commentaire en continu explique ce qu’il fait.

Quelques fonctions facilitent l’usage répété :

Des instructions personnalisées pour tous les sites ou pour un seul, comme votre compagnie aérienne préférée sur un site de voyage.
Des prompts enregistrés sur l’écran d’accueil pour les tâches que vous répétez, comme regarnir le garde-manger.
Plusieurs tâches à la fois, chacune dans sa propre conversation, comme vous garderiez plusieurs onglets ouverts dans votre navigateur.

OpenAI affirme travailler avec des entreprises comme DoorDash, Instacart, OpenTable, Priceline, StubHub, Thumbtack et Uber pour qu’Operator respecte la façon dont leurs sites sont censés être utilisés. La Ville de Stockton, en Californie, le teste aussi pour aider les résidents à s’inscrire aux services municipaux.

Pendant la diffusion en direct du lancement, Sam Altman a dit que d’autres pays y auraient bientôt accès, mais que l’Europe devrait attendre plus longtemps. OpenAI prévoit aussi d’offrir Operator dans ses forfaits Plus, Team et Enterprise et, plus tard, de l’intégrer à ChatGPT lui-même.

Comment il fonctionne : voir, réfléchir, agir

Operator fonctionne avec un nouveau modèle appelé Computer-Using Agent, ou CUA. Il combine la compréhension des images de GPT-4o avec des capacités de raisonnement acquises par apprentissage par renforcement, une méthode d’entraînement dans laquelle un modèle s’améliore en essayant des tâches et en étant récompensé pour les bons résultats.

La plupart des logiciels communiquent avec les sites Web par une API, une porte d’entrée structurée qu’utilisent les programmeurs. CUA n’en a pas besoin. Il passe par l’interface graphique, les boutons, les menus et les zones de texte que voient les gens. C’est pourquoi il peut, en principe, utiliser presque n’importe quel site.

OpenAI décrit une boucle qui se répète jusqu’à ce que le travail soit fait :

Étape	Ce que fait CUA	L’équivalent humain
Perception	Prend une capture d’écran et l’ajoute à ce qu’il examine	Regarder l’écran
Raisonnement	Réfléchit à la prochaine étape à l’aide des captures d’écran actuelle et précédentes	« La zone de recherche est en haut; je devrais y taper l’adresse. »
Action	Clique, fait défiler ou tape avec une souris et un clavier virtuels	Utiliser ses mains

Si quelque chose tourne mal, comme une fenêtre surgissante ou une mauvaise page, CUA peut s’en rendre compte et corriger le tir. S’il est bloqué, il vous rend la main.

OpenAI rapporte des résultats à des bancs d’essai, des tests où un agent doit accomplir des tâches définies. À OSWorld, qui couvre des tâches informatiques complètes, CUA réussit 38,1 % du temps, contre 22,0 % pour le meilleur système précédent et 72,4 % pour les humains. À WebArena, un ensemble de sites simulés de magasinage et de forums, il atteint 58,1 % (les humains obtiennent 78,2 %), et à WebVoyager, qui utilise de vrais sites comme Amazon et GitHub, 87 %. OpenAI note que les tâches de WebVoyager sont surtout simples. Autrement dit, l’agent est utile, mais encore loin de la fiabilité humaine.

Protections et limites

Comme un agent capable de cliquer sur des boutons peut aussi cliquer sur les mauvais, OpenAI a intégré plusieurs niveaux de contrôle :

Le mode prise en main. Pour les connexions, les renseignements de paiement et les CAPTCHA (les casse-têtes qui vérifient que vous êtes un humain), Operator vous demande de prendre le relais. OpenAI affirme ne pas enregistrer ni capturer en image ce que vous tapez pendant que vous avez le contrôle.
Les confirmations. Avant une action importante, comme soumettre une commande, il devrait vous demander votre approbation.
Les refus. Il refuse les tâches délicates comme les transactions bancaires ou les décisions à fort enjeu, comme juger une candidature à un emploi.
Le mode surveillance. Sur les sites sensibles, comme le courriel, vous devez le superviser activement.
Les défenses contre les pages piégées. Un modèle de surveillance distinct guette l’injection de prompt (prompt injection), du texte caché sur un site Web qui tente de donner des consignes à l’agent, et peut mettre la tâche en pause.

OpenAI est franche au sujet des limites. Operator a du mal avec les interfaces complexes, comme créer un diaporama ou gérer un calendrier. TechCrunch ajoute qu’il y a des limites d’utilisation quotidiennes et que certaines actions, comme supprimer des événements d’un calendrier, sont carrément refusées pour l’instant.

À essayer : choisissez une course que vous faites en ligne chaque semaine. Écrivez-la sous forme d’étapes numérotées avec les sites et les choix exacts en jeu, et marquez chaque étape où vous voudriez vérifier avant que quoi que ce soit soit acheté ou envoyé. Cette liste, c’est à cela que ressemble un bon prompt pour un agent.

Pourquoi c’est important

Jusqu’ici, ChatGPT produisait surtout du texte à partir duquel vous agissiez ensuite vous-même. Operator est la première tentative largement diffusée d’OpenAI vers l’étape suivante : une IA qui agit. Anthropic, Google et la jeune pousse Rabbit ont montré leurs propres agents, dont l’agent de navigation de Google, Project Mariner : c’est donc une direction que plusieurs laboratoires explorent.

La question en suspens est celle de la confiance. Un taux de réussite de 38 % pour des tâches informatiques complètes est un grand progrès, mais reste bien en deçà de ce que fait une personne. L’étiquette d’aperçu de recherche, le prix de 200 $ US et l’accès limité aux États-Unis indiquent tous qu’OpenAI veut apprendre d’un petit groupe avant que beaucoup de gens confient leurs courses à une IA.

Comment confier une tâche à Operator en toute sécurité?

Commencez par une tâche à faible enjeu, où une erreur ne coûte rien, comme trouver trois terrains de camping qui ont de la disponibilité une fin de semaine donnée, sans en réserver un. Soyez précis : nommez le site, les dates, votre budget et ce à quoi ressemble une tâche « terminée ». Demandez à Operator de s’arrêter et de vous montrer le résultat avant tout achat.

Restez à proximité pendant qu’il travaille. Surveillez la fenêtre du navigateur, prenez le relais pour tout ce qui touche un mot de passe ou une carte, et lisez attentivement chaque demande de confirmation avant de l’approuver. Si vous ne voudriez pas qu’un assistant voie un site, comme celui de votre banque, n’y envoyez pas Operator.

Enfin, revoyez vos paramètres de confidentialité. OpenAI affirme que désactiver « Improve the model for everyone » (améliorer le modèle pour tout le monde) dans ChatGPT exclut aussi les données d’Operator de l’entraînement, et qu’un seul clic dans les paramètres de confidentialité d’Operator efface ses données de navigation et le déconnecte partout.