Qu’est-ce que GPT-4 Turbo, et qu’est-ce qui change par rapport à GPT-4?

Hier, à sa première conférence pour les développeurs, OpenAI a présenté en aperçu GPT-4 Turbo, la prochaine version de son modèle le plus performant. GPT-4 lui-même est arrivé en mars et a été offert à tous les développeurs en juillet. La nouvelle version lit beaucoup plus de texte d’un coup, connaît des événements plus récents et coûte nettement moins cher à faire tourner.

Pour l’instant, GPT-4 Turbo est un aperçu destiné aux développeurs qui paient l’API d’OpenAI, l’interface de programmation que les applications utilisent pour envoyer des requêtes au modèle. Ils peuvent l’essayer dès aujourd’hui sous le nom gpt-4-1106-preview. OpenAI affirme qu’une version stable, prête pour la production, suivra dans les prochaines semaines.

Qu’est-ce que GPT-4 Turbo?

Comme tout grand modèle de langage, GPT-4 Turbo fonctionne en prédisant du texte. Entraîné sur d’énormes quantités d’écrits, surtout tirés du Web, il a appris quels mots tendent à suivre quels autres dans un contexte donné. Donnez-lui le début d’un courriel qui se termine par « Au plaisir… », et il continuera probablement avec quelque chose comme « de vous lire ».

Turbo n’est pas un tout nouveau type de modèle. OpenAI le présente comme un GPT-4 amélioré et optimisé : plus performant, selon l’entreprise, et moins cher à servir. Il existe sous deux formes : une version texte seulement, offerte dès maintenant, et une version qui peut aussi regarder des images, offerte séparément sous le nom gpt-4-vision-preview.

Qu’est-ce qui change par rapport à GPT-4?

Quelques termes expliquent le tableau. Un jeton est un morceau de texte, souvent un mot court ou une partie d’un mot plus long; le mot anglais « fantastic », par exemple, pourrait être découpé en trois jetons. Mille jetons équivalent à environ 750 mots anglais. La fenêtre de contexte est la quantité de texte que le modèle peut considérer dans une requête, en comptant à la fois ce que vous envoyez et ce qu’il vous renvoie. Les jetons en entrée sont ce que vous envoyez; les jetons en sortie sont ce que le modèle génère.

Avec 128 000 jetons, la fenêtre de GPT-4 Turbo est quatre fois plus grande que celle de la plus grande version de GPT-4, et plus grande que les 100 000 jetons de Claude 2, d’Anthropic, jusqu’ici la plus grande offerte dans un modèle commercial. C’est assez pour un long rapport, un contrat avec toutes ses annexes ou une bonne partie d’un projet logiciel en une seule fois.

Meilleur pour suivre les consignes

OpenAI affirme aussi que GPT-4 Turbo s’en tire mieux quand une tâche exige de suivre les consignes à la lettre, comme répondre dans un format exact. Trois fonctions pour les développeurs vont dans ce sens :

• Le mode JSON. Le JSON est un format de texte courant que les applications utilisent pour échanger des données. Avec un nouveau réglage appelé response_format, le modèle est contraint de produire un objet JSON valide, si bien qu’une application peut lire la réponse sans planter.
• Un meilleur appel de fonctions. Les développeurs peuvent décrire des fonctions de leur application, et le modèle choisit laquelle appeler et avec quels détails. Il peut maintenant demander plusieurs appels dans un seul message, et OpenAI affirme qu’il donne plus souvent les bons détails.
• Des résultats reproductibles. Un nouveau réglage seed fait en sorte que le modèle renvoie la même réponse à la même requête la plupart du temps, ce qui aide aux tests et au débogage. OpenAI dit aussi qu’elle renverra bientôt les probabilités des mots les plus probables, utiles pour des fonctions comme la saisie semi-automatique.

Un exemple concret : ce que coûte un long document

Supposons qu’une application résume un document de 20 000 jetons (environ 15 000 mots) et que le résumé fait 1 000 jetons.

La même tâche coûte moins du cinquième, et GPT-4 Turbo pourrait accepter un document environ six fois plus long avant de manquer de place. Pour une application qui effectue cette tâche des milliers de fois par jour, cette différence détermine si une fonction est abordable.

Pourquoi est-ce important?

Le prix et la taille de la fenêtre fixent les limites de ce que les développeurs peuvent créer. Bien des projets techniquement possibles avec GPT-4 étaient trop coûteux pour être offerts à grande échelle, ou obligeaient à découper les documents en morceaux et à recoller les réponses. GPT-4 Turbo assouplit ces deux limites à la fois.

La date limite des connaissances plus récente compte aussi. Un modèle entraîné sur des données allant jusqu’en avril 2023 peut répondre à des questions sur des événements de 2022 et du début de 2023 que GPT-4 n’avait jamais vus, même s’il ne sait toujours rien de ce qui suit sa date limite, à moins qu’on lui fournisse l’information.

Une certaine prudence s’impose. Le modèle est un aperçu, et les affirmations d’OpenAI sur ses capacités accrues viennent de ses propres tests. Les développeurs le compareront à GPT-4 sur leurs propres tâches au cours des prochaines semaines.

Devriez-vous passer de GPT-4 à GPT-4 Turbo dès maintenant?

Si vous faites des essais ou construisez un prototype, il y a peu de raisons de ne pas l’essayer. Le prix plus bas et la fenêtre plus grande rendent les tests moins chers, et changer le nom du modèle se fait habituellement en modifiant une seule ligne. Passez le même ensemble de prompts dans les deux modèles et comparez la qualité, la vitesse et le coût sur vos propres exemples.

Si vous exploitez une application en production, soyez plus prudent. Les aperçus peuvent changer, et OpenAI affirme que sa version stable, prête pour la production, est encore à quelques semaines. Une approche raisonnable : tester dès maintenant, noter où les réponses diffèrent, et faire le passage complet quand la version stable arrivera.

Si vous utilisez ChatGPT plutôt que l’API, vous ne choisissez pas directement un nom de modèle. Les annonces du DevDay d’OpenAI pour ChatGPT sont distinctes : vérifiez donc ce que votre forfait offre dans l’application elle-même.