Que sont les nouvelles API de ChatGPT et de Whisper, et combien coûtent-elles?

Hier, le 1er mars 2023, OpenAI a ouvert aux développeurs de logiciels deux de ses modèles les plus connus. Le modèle derrière ChatGPT est maintenant offert par l’API d’OpenAI sous le nom de gpt-3.5-turbo, tout comme Whisper, le modèle de reconnaissance vocale qu’OpenAI a publié en code source ouvert en septembre dernier.

Une API (interface de programmation d’applications) est une porte d’entrée pour les programmes plutôt que pour les personnes. Au lieu que quelqu’un tape dans le site Web de ChatGPT, l’application d’un développeur envoie une requête par Internet et reçoit la réponse du modèle, qu’elle peut afficher dans ses propres écrans. Une aide à la ChatGPT peut donc maintenant apparaître dans des applications de magasinage, des outils d’étude et des applications de messagerie, et non plus seulement sur le site d’OpenAI.

Ce qui a été lancé

OpenAI affirme que des optimisations de l’ensemble du système ont réduit de 90 % le coût de fonctionnement de ChatGPT depuis décembre, et qu’elle fait profiter sa clientèle de ces économies.

Un jeton est un fragment de texte; TechCrunch note que 1 000 jetons correspondent à environ 750 mots. Voici ce que ces prix signifient en pratique :

1. Un échange d’environ 750 mots, question et réponse comprises, coûte environ 0,002 $ US; 1 000 échanges semblables coûtent donc environ 2 $ US.
2. Transcrire un enregistrement d’une heure avec Whisper coûte 60 × 0,006 $ US = 0,36 $ US.
3. OpenAI affirme que gpt-3.5-turbo est dix fois moins cher que ses modèles GPT-3.5 existants, et que les premiers testeurs sont passés de text-davinci-003 à ce modèle en apportant de petits changements à leurs prompts.

Comment fonctionne l’API de clavardage

Les modèles GPT antérieurs prenaient un seul bloc de texte brut et le poursuivaient. Le nouveau point d’accès de clavardage prend plutôt une liste de messages, chacun étiqueté avec un rôle : par exemple, un message « system » du développeur qui fixe les règles, puis des messages « user » de la personne, et des messages « assistant » contenant les réponses précédentes du modèle. En coulisses, OpenAI convertit le tout dans un format qu’elle appelle Chat Markup Language, ou ChatML.

Une requête simple pourrait contenir :

system: Tu es un tuteur de cuisine patient. Réponds en trois courtes étapes numérotées.
user: Comment empêcher le riz de coller au fond de la casserole?

La réponse revient sous forme de message « assistant », accompagnée du décompte des jetons utilisés pour le prompt et pour la réponse. Pour poursuivre la conversation, l’application renvoie toute la liste en y ajoutant la nouvelle question; le modèle lui-même ne se souvient pas des appels précédents.

Greg Brockman, président d’OpenAI, a dit à TechCrunch que séparer les consignes du développeur du texte de l’utilisateur devrait rendre les applications plus difficiles à déjouer par des « attaques par prompt », des messages qui tentent d’amener un modèle à ignorer ses règles. Il a donné l’exemple d’un tuteur d’IA qui devrait toujours expliquer une réponse plutôt que de simplement la donner.

OpenAI a aussi présenté des instantanés de modèle (snapshots). Les développeurs qui demandent gpt-3.5-turbo obtiennent toujours la version stable recommandée, qui sera mise à jour en avril, mais ils peuvent figer une version précise, gpt-3.5-turbo-0301, qu’OpenAI prendra en charge au moins jusqu’au 1er juin.

Qui l’utilise déjà

OpenAI nomme cinq premiers utilisateurs :

• Snap fait fonctionner My AI, un robot conversationnel pour les abonnés de Snapchat+, avec l’API de ChatGPT.
• Quizlet lance Q-Chat, un tuteur adaptatif qui interroge les élèves sur leur matière à étudier.
• Instacart prépare « Ask Instacart », qui répond aux questions sur l’alimentation avec des suggestions que la clientèle peut acheter.
• L’application Shop de Shopify l’utilise pour un assistant de magasinage qui recommande des produits.
• Speak, une application d’apprentissage des langues, utilise l’API de Whisper pour un partenaire de conversation orale.

Pourquoi c’est important

Le prix et l’accès sont au cœur de la nouvelle. Une baisse de coût d’un facteur dix permet de façon réaliste à de petites équipes et à des développeurs indépendants de bâtir sur le même modèle que des millions de personnes utilisent déjà dans ChatGPT. OpenAI a aussi annoncé des changements que les développeurs réclamaient : les données envoyées par l’API ne servent plus à entraîner les modèles, à moins qu’une entreprise n’y consente, les données sont conservées 30 jours par défaut, et une étape d’examen avant le lancement a été supprimée. Elle reconnaît aussi que la disponibilité de ses services au cours des deux derniers mois n’a pas été à la hauteur et affirme que la fiabilité est maintenant la grande priorité de son équipe d’ingénierie.

Comment une personne qui débute peut-elle commencer à bâtir avec l’API de ChatGPT?

Commencez par planifier sur papier. Décidez ce que votre application doit faire, rédigez le message système qui en fixe le ton et les limites, et rassemblez une poignée de questions réalistes d’utilisateurs. À cette étape, des consignes claires comptent plus que le code, et les compétences de rédaction de prompts que vous utilisez dans ChatGPT s’appliquent directement.

Ensuite, créez un compte sur la plateforme pour développeurs d’OpenAI et suivez son guide sur le clavardage, qui montre une requête en quelques lignes de Python ou en une seule commande. Commencez par de petits tests, et surveillez le décompte de jetons qui accompagne chaque réponse pour savoir ce que coûte chaque expérience.

Enfin, concevez votre application en tenant compte des faiblesses du modèle. Il peut encore affirmer des faits erronés avec assurance; gardez donc une personne dans la boucle pour tout ce qui est important, indiquez aux utilisateurs que les réponses viennent de l’IA et n’envoyez pas de données privées à moins de comprendre la politique d’OpenAI sur les données. Si vous avez besoin de la parole, ajoutez Whisper plus tard : enregistrez l’audio, envoyez-le pour transcription et transmettez le texte au modèle de clavardage.