Qu’est-ce que GPT-4o mini, et pourquoi un petit modèle bon marché est-il important?

Hier, jeudi 18 juillet 2024, OpenAI a lancé GPT-4o mini, un membre plus petit et beaucoup moins cher de la famille GPT-4o présentée en mai. OpenAI le décrit comme « notre petit modèle le plus économique ». Pour les personnes qui utilisent ChatGPT, le changement est immédiat : GPT-4o mini prend la place de GPT-3.5, le modèle qui répondait discrètement aux questions des utilisateurs gratuits depuis les débuts de ChatGPT.

Pour les développeurs, la grande nouvelle, c’est le prix. Un modèle qui obtient de bons résultats aux tests standard et qui coûte quelques sous par million de mots change les projets qui ont du sens sur le plan financier. C’est la véritable histoire derrière ce lancement.

Ce qu’OpenAI a lancé

GPT-4o mini est offert à deux endroits dès le jour du lancement :

• Dans ChatGPT, pour les utilisateurs des forfaits Free, Plus et Team, à la place de GPT-3.5. Les clients Enterprise l’obtiendront la semaine prochaine.
• Dans l’API, le service que les programmeurs utilisent pour relier les modèles d’OpenAI à leurs propres logiciels. Il fonctionne dans les API Chat Completions, Assistants et Batch.

Le modèle lit le texte et les images dès aujourd’hui. OpenAI affirme que la prise en charge de l’audio et de la vidéo, en entrée comme en sortie, viendra plus tard. Il peut considérer jusqu’à 128 000 jetons d’un coup (un jeton est un mot ou un morceau de mot, ce qui équivaut à peu près au texte d’un livre), écrire jusqu’à 16 000 jetons dans une seule réponse, et ses connaissances vont jusqu’en octobre 2023. L’ajustement fin, qui permet à une entreprise de poursuivre l’entraînement du modèle sur ses propres exemples, est promis d’ici quelques jours.

OpenAI n’a pas dit quelle est la taille de GPT-4o mini. TechCrunch rapporte que l’entreprise le place dans la même catégorie que d’autres petits modèles comme Llama 3 8B de Meta, Claude Haiku d’Anthropic et Gemini 1.5 Flash de Google.

Ce qu’il coûte et ce qu’il obtient

Les prix des modèles d’IA s’expriment par million de jetons, en séparant ce que vous envoyez (l’entrée) et ce que le modèle vous renvoie (la sortie). Voici comment GPT-4o mini se compare, selon les chiffres d’OpenAI :

OpenAI affirme qu’un million de jetons correspond à environ 2 500 pages d’un livre standard. Dans ses tests, GPT-4o mini bat Gemini Flash et Claude Haiku sur les quatre mesures ci-dessus. OpenAI souligne aussi que chaque jeton coûte maintenant 99 % moins cher qu’avec text-davinci-003, un modèle moins puissant qu’elle offrait en 2022.

La vitesse compte aussi. Artificial Analysis, une firme de tests indépendante, a dit à TechCrunch avoir mesuré une médiane de 202 jetons par seconde, plus de deux fois plus rapide que GPT-4o et GPT-3.5 Turbo.

Comment fonctionne un modèle « mini »

Imaginez un grand modèle et un petit modèle comme deux cuisiniers formés dans la même cuisine. Le chef connaît plus de plats et s’occupe des demandes inhabituelles, mais il coûte cher et il est difficile à réserver. Le cuisinier de ligne a bien appris les recettes de la maison et sort rapidement les commandes de tous les jours. La plupart des commandes sont des commandes de tous les jours.

Un petit modèle a moins de paramètres, les nombres internes qu’un modèle ajuste pendant l’entraînement pour stocker ce qu’il a appris. Moins de paramètres veut dire moins de puissance de calcul par réponse, et c’est pourquoi il est moins cher et plus rapide. La contrepartie, c’est la profondeur : pour les problèmes difficiles ou inhabituels, un modèle plus grand fait habituellement mieux.

GPT-4o mini partage aussi le tokeniseur amélioré de GPT-4o, le composant qui découpe le texte en jetons. Comme il a besoin de moins de jetons pour de nombreuses langues autres que l’anglais, le même paragraphe en français ou en hindi, par exemple, coûte maintenant moins cher à traiter.

Côté sécurité, OpenAI affirme que le modèle a les mêmes protections que GPT-4o et qu’il est le premier à utiliser une méthode qu’elle appelle la hiérarchie des instructions (instruction hierarchy). L’idée est que le modèle apprend à donner priorité aux instructions du développeur sur le texte qui tente de les contourner, ce qui aide contre les débridages (jailbreaks, des prompts conçus pour contourner les règles) et les injections de prompt (prompt injections, des instructions cachées dans une page Web ou un document que le modèle lit).

Pourquoi c’est important cette semaine

Pour ceux qui bâtissent des applications, un faible coût ouvre la porte à des façons de faire qui étaient trop chères auparavant. OpenAI en nomme trois : les applications qui font de nombreux appels au modèle à la suite ou en parallèle, les applications qui envoient beaucoup de contexte avec chaque demande (comme tout le code source d’un projet ou un long historique de conversation), et le soutien à la clientèle rapide par clavardage. Les premiers partenaires, Ramp et Superhuman, ont rapporté que GPT-4o mini faisait beaucoup mieux que GPT-3.5 Turbo pour extraire des données structurées de reçus et pour rédiger des réponses à partir d’un fil de courriels.

Olivier Godement, qui dirige le produit API d’OpenAI, a présenté la chose à TechCrunch comme une question de portée : l’IA n’atteindra tous les coins du monde que si les modèles deviennent beaucoup plus abordables.

Pour les utilisateurs ordinaires de ChatGPT, la version gratuite obtient tout simplement un modèle par défaut plus fort. Les questions où GPT-3.5 trébuchait, surtout en mathématiques et en code, devraient maintenant mieux se passer, sans frais supplémentaires.

Comment commencer à utiliser GPT-4o mini dès aujourd’hui?

Si vous utilisez ChatGPT avec un forfait Free, Plus ou Team, vous l’utilisez déjà : GPT-4o mini remplace GPT-3.5 dès le jour du lancement, sans réglage à changer. Donnez-lui des instructions claires, le public, la longueur et le format voulus, et vérifiez les faits importants, comme avec n’importe quel modèle.

Si vous écrivez du code, changez le nom du modèle pour gpt-4o-mini dans un projet existant et faites tourner vos exemples de test habituels. Comme le prix est très bas, ça vaut la peine de l’essayer pour les tâches que vous aviez gardées sur GPT-3.5 Turbo, et pour les tâches à grand volume comme trier des messages de soutien, résumer des documents ou extraire des champs de formulaires. Voici un prompt d’extraction simple pour le tester :

Lis le texte du reçu ci-dessous. Donne le nom du magasin, la date, le total et le mode de paiement, un par ligne. S’il manque une valeur, écris « introuvable ».

[collez le texte du reçu ici]

Gardez les modèles plus grands pour les questions les plus difficiles, et comparez les résultats sur vos propres exemples avant de changer quoi que ce soit d’important. Un petit modèle qui a raison la plupart du temps n’est une bonne affaire que si vous savez quand il se trompe.