Qu’est-ce qu’OpenAI a annoncé au DevDay 2024, et qu’est-ce que l’API Realtime?

Hier, le mardi 1er octobre 2024, OpenAI a tenu son deuxième DevDay, sa conférence pour les développeurs, c’est-à-dire les personnes qui créent des applications à partir de ses modèles. L’événement avait lieu à San Francisco. L’annonce principale était l’API Realtime, qui permet aux applications de tenir des conversations orales avec GPT-4o, comme le fait l’Advanced Voice Mode (le mode vocal avancé) de ChatGPT. Autour d’elle sont venus trois outils axés sur les coûts et la personnalisation : la mise en cache des prompts (prompt caching), l’ajustement fin sur des images (vision fine-tuning) et la distillation de modèles (model distillation).

Contrairement au DevDay de l’an dernier, OpenAI n’a pas annoncé de nouveau modèle. Elle affirme que plus de 3 millions de développeurs créent maintenant avec ses modèles, et que le coût d’utilisation de son API a baissé de 99 % au cours des deux dernières années.

Ce qui a été annoncé

Comment fonctionne l’API Realtime

Jusqu’ici, créer un assistant vocal voulait dire enchaîner trois modèles distincts. Le premier transformait la parole en texte (reconnaissance de la parole, comme Whisper d’OpenAI). Le deuxième lisait le texte et rédigeait une réponse. Le troisième retransformait la réponse en parole. Chaque passage ajoutait du délai, et le modèle du milieu n’entendait jamais votre voix : le ton, l’intonation et l’accent se perdaient.

L’API Realtime remplace cette chaîne par un seul modèle qui entend et parle. Votre application ouvre un WebSocket, une connexion qui reste ouverte pour que les deux côtés puissent s’envoyer des messages à tout moment, un peu comme une ligne téléphonique comparée à l’envoi de lettres. L’audio circule dans les deux sens, et le modèle sait gérer une interruption au milieu d’une phrase, comme les gens le font en conversation.

Elle prend aussi en charge l’appel de fonctions (function calling), par lequel le modèle demande à votre application de faire quelque chose, comme vérifier une commande ou réserver une table. TechCrunch décrit une démonstration de Romain Huet, responsable de l’expérience des développeurs chez OpenAI : une application de voyage où l’on planifie un séjour à Londres de vive voix, et où l’assistant marque des restaurants sur une carte tout en parlant. Dans une autre démonstration, l’assistant téléphonait à une personne pour commander de la nourriture pour un événement, au moyen de Twilio, un service d’appels.

Les développeurs choisissent parmi six voix prédéfinies. OpenAI affirme qu’elles diffèrent de celles de ChatGPT, et les voix externes ne sont pas permises.

Les prix sont établis par jeton, les petites unités de texte ou de son que le modèle lit et écrit :

Parmi les premiers utilisateurs figurent Healthify, une application d’accompagnement en nutrition, et Speak, une application d’apprentissage des langues qui s’en sert pour des jeux de rôle.

Les trois outils pour économiser

La mise en cache des prompts. Bien des applications envoient les mêmes longues consignes ou les mêmes documents à chaque requête. Désormais, quand une requête répète une entrée que le modèle a traitée récemment, ces jetons répétés coûtent moitié prix, sans configuration supplémentaire. TechCrunch note qu’Anthropic offre une fonction semblable avec un rabais de 90 %.

L’ajustement fin sur des images. L’ajustement fin consiste à entraîner davantage un modèle sur vos propres exemples. Les développeurs peuvent maintenant y inclure des images, ce qui devrait aider pour des tâches comme lire un type de formulaire précis ou repérer des articles sur des photos de produits. Olivier Godement, d’OpenAI, a indiqué à TechCrunch que les images protégées par le droit d’auteur, les images violentes et d’autres qui enfreignent ses politiques ne sont pas acceptées.

La distillation de modèles. Un grand modèle est précis, mais coûteux; un petit est bon marché, mais moins performant. La distillation se sert des réponses du grand modèle comme leçons pour le petit. Les nouveaux outils d’OpenAI en font un flux de travail sur sa plateforme : les réponses stockées (stored completions) enregistrent vos vraies requêtes et réponses pour qu’elles deviennent des données d’entraînement, et un outil Evals en bêta mesure si le modèle plus petit est assez bon. Lors d’une séance, des employés d’OpenAI ont précisé que la distillation convient aux tâches étroites et fonctionne mieux avec des milliers d’exemples qu’avec des millions. Par exemple, vous pourriez faire répondre GPT-4o ou o1-preview aux questions de vos clients pendant une semaine, puis utiliser ces paires pour entraîner GPT-4o mini.

Pourquoi c’est important cette semaine

La voix fait la manchette. Les applications d’apprentissage des langues, de service à la clientèle, d’accessibilité et d’accompagnement peuvent maintenant parler avec les gens de façon beaucoup plus naturelle, sans assembler trois systèmes. Cela soulève aussi des questions. Les politiques d’OpenAI exigent que les développeurs disent aux utilisateurs qu’ils parlent à une IA, sauf si c’est évident, mais TechCrunch souligne que les modèles ne s’annoncent pas automatiquement lors des appels : c’est aux développeurs de le faire.

Les autres outils sont moins visibles, mais pratiques. Ils aident les entreprises à en faire plus avec des modèles plus petits et moins chers, là où se passe une grande partie de l’usage quotidien de l’IA.

Comment les développeurs peuvent-ils commencer à créer avec l’API Realtime?

OpenAI affirme que les développeurs pourront l’essayer dans le Playground au cours des prochains jours, ou partir de sa documentation et d’un client de référence sur GitHub. Le modèle s’appelle gpt-4o-realtime-preview. Les partenaires LiveKit et Agora offrent des bibliothèques audio qui gèrent l’annulation d’écho et la reconnexion, et Twilio le relie aux appels téléphoniques.

Commencez petit : une seule tâche, un prompt système clair et une ou deux fonctions. Par exemple :

Tu es un assistant de réservation sympathique pour un salon de coiffure. Demande le nom du client, le jour qu’il préfère et le service voulu, une question à la fois. Confirme les détails avant d’appeler la fonction de réservation. Dis à la personne, dès le début, que tu es un assistant IA.

Surveillez le coût, puisque l’audio coûte bien plus cher que le texte, ainsi que les limites : pendant la bêta, le niveau d’utilisation le plus élevé permet environ 100 sessions simultanées. OpenAI prévoit d’ajouter plus tard la vision et la vidéo, la mise en cache des prompts et la prise en charge de GPT-4o mini à l’API Realtime.