Réponse courte
Les plugiciels de ChatGPT (*ChatGPT plugins*) sont des modules complémentaires qui permettent à ChatGPT d’aller au-delà de ses données d’entraînement : lire le Web, exécuter du code, chercher dans vos documents ou utiliser des services comme OpenTable, Instacart et Zapier. OpenAI les a annoncés le 23 mars 2023 et les déploie lentement, d’abord auprès d’un petit groupe de développeurs et d’abonnés de ChatGPT Plus inscrits sur une liste d’attente.
Question de suivi Pour quelles tâches quotidiennes les plugiciels seront-ils utiles en premier?
Jusqu’à cette semaine, tout ce que ChatGPT vous disait venait d’une seule source : le texte sur lequel il a été entraîné, qui s’arrête pour l’essentiel vers septembre 2021. Il ne pouvait pas consulter les nouvelles du jour, vérifier les heures d’ouverture d’un restaurant ni faire quoi que ce soit d’autre que vous répondre par écrit. Hier, OpenAI a annoncé les plugiciels (plugins), une façon de relier ChatGPT à des outils externes pour qu’il puisse aller chercher de l’information à jour, calculer et agir en votre nom.
OpenAI décrit les plugiciels comme des « yeux et des oreilles » pour le modèle : un moyen d’atteindre des faits plus récents, plus privés ou plus spécialisés que tout ce qui se trouve dans ses données d’entraînement. L’accès est limité pour l’instant. OpenAI admet un groupe restreint de développeurs et d’abonnés Plus à partir d’une liste d’attente, et dit qu’elle élargira l’accès à mesure qu’elle apprendra.
Comment fonctionne un plugiciel?
Un plugiciel est une connexion entre ChatGPT et un service Web. L’entreprise qui le conçoit rédige deux choses : une API (un ensemble d’adresses qu’un programme peut appeler pour obtenir des données ou effectuer une action) et une courte description de ce que fait cette API, écrite pour que le modèle la lise. Cette description est regroupée dans un petit fichier « manifeste », accompagné d’un plan technique standard appelé spécification OpenAPI.
Quand vous commencez une conversation, vous choisissez quels plugiciels activer. ChatGPT voit alors les descriptions de ces plugiciels comme une partie de la conversation. Si votre demande en exige un, le modèle décide de l’appeler, lit ce qui lui revient et rédige sa réponse à partir de cela. Vous ne tapez pas de commandes; vous demandez en langage courant, et le modèle choisit l’outil.
Voici le déroulement pour une réservation au restaurant :
- Vous demandez : « Trouve un restaurant italien tranquille près de chez moi pour quatre personnes samedi à 19 h. »
- ChatGPT voit que le plugiciel OpenTable est activé et qu’il gère les réservations.
- Il appelle le plugiciel avec les détails tirés de votre phrase.
- Le plugiciel renvoie des options, et ChatGPT vous les présente avec un lien pour réserver.
Les premiers plugiciels
OpenAI lance avec des plugiciels de douze entreprises. Pour les voyages et les restaurants : Expedia, KAYAK et OpenTable. Pour le magasinage : Instacart, Klarna et Shopify. Pour le travail et le savoir : Slack, Zapier, Wolfram et FiscalNote. Les deux derniers sont Speak, un tuteur de langues, et Milo, un assistant familial. OpenAI exploite aussi deux plugiciels maison et a publié le code d’un troisième :
| Plugiciel | Ce qu’il ajoute |
|---|---|
| Navigation (OpenAI) | Fait des recherches avec Bing, lit des pages, montre quels sites il a utilisés et les cite |
| code interpreter (OpenAI) | Exécute du Python dans un bac à sable isolé; accepte des fichiers téléversés et en renvoie |
| Récupération (code source ouvert) | Permet à un développeur de relier ChatGPT à ses propres notes, fichiers ou documents |
| Wolfram | Mathématiques exactes, données vérifiées et calcul |
| Zapier | Liens vers des milliers d’applications, comme Google Sheets, Trello et Gmail |
| OpenTable, Instacart, KAYAK, Expedia | Réservations au restaurant, épicerie, vols, hébergements et voyages |
Le plugiciel de navigation est celui que la plupart des gens attendaient. La démonstration d’OpenAI le montre en train de répondre à une question sur les gagnants des Oscars de ce mois-ci, ce que le modèle seul ne pouvait pas faire. Comme il montre ses sources, vous pouvez cliquer dessus et les vérifier.
À quoi faut-il faire attention?
Relier un modèle de langage à des outils qui agissent dans le monde soulève de nouveaux risques, et OpenAI le dit clairement. Ses équipes rouges (red teams), des testeurs dont le travail est d’essayer de faire flancher le système, ont trouvé des façons dont un plugiciel sans garde-fous pourrait être piégé par des consignes cachées dans une page Web (ce qu’on appelle l’injection de prompt), envoyer des pourriels ou des courriels frauduleux, ou mal utiliser des données. OpenAI dit avoir ajouté des limites en réponse : le navigateur peut seulement lire des pages, pas soumettre des formulaires, et le bac à sable de code n’a pas accès à Internet.
TechCrunch souligne un problème connexe. Le Web en direct est plus désordonné qu’un ensemble de données d’entraînement soigneusement choisi, et un ancien système de recherche d’OpenAI qui avait accès au Web, WebGPT, citait parfois des sources peu fiables. Une réponse avec citations est plus facile à vérifier, mais il faut quand même la vérifier.
À essayer : même sans accès aux plugiciels, notez trois questions que vous avez posées à ChatGPT et qui ont échoué parce qu’il lui manquait de l’information récente ou personnelle. Pour chacune, nommez le type de plugiciel qui aurait réglé le problème : navigation, calculatrice, service de réservation ou vos propres documents.
Pour quelles tâches quotidiennes les plugiciels seront-ils utiles en premier?
Les premiers gains viendront probablement des questions sur le présent. Avec la navigation, vous pouvez poser des questions sur l’actualité récente, un produit lancé ce mois-ci ou un changement de politique, et obtenir une réponse avec des liens au lieu d’excuses polies au sujet de ses données d’entraînement. Cela seul élimine l’une des frustrations les plus courantes des débutants avec ChatGPT.
Viennent ensuite les calculs et les données. Les modèles de langage peuvent faire de simples erreurs de calcul et de raisonnement; Wolfram et le code interpreter confient les mathématiques à des outils conçus pour ça. OpenAI suggère le code interpreter pour résoudre des problèmes de mathématiques, analyser des données et tracer des graphiques, et convertir des fichiers d’un format à un autre. Pour le propriétaire d’une petite entreprise qui a un tableur de ventes, cela pourrait vouloir dire téléverser le fichier et demander un graphique mensuel en langage courant.
Il y a ensuite la planification et les courses : comparer des vols et des hôtels, trouver une table au restaurant, dresser une liste d’épicerie et l’envoyer à Instacart. Ces tâches font gagner du temps, mais elles touchent votre argent et vos renseignements personnels : lisez donc chaque étape avant de confirmer quoi que ce soit.
Enfin, Zapier et le plugiciel de récupération ouvrent la voie aux tâches de travail : rédiger un courriel à partir de notes prises dans une autre application, ou interroger vos propres documents. Ces usages en sont à leurs débuts et mettront du temps à se répandre. Beaucoup s’attendent à ce que les plugiciels deviennent l’une des principales façons d’utiliser ChatGPT au cours des prochains mois, mais pour l’instant, c’est une fonction alpha ouverte à quelques personnes seulement.
Sources
- ChatGPT plugins — OpenAI, 23 mars 2023
- OpenAI connects ChatGPT to the internet — TechCrunch, 23 mars 2023