Qu’est-ce que GPT-4, et que peut-il faire que GPT-3.5 ne peut pas faire?

Hier, OpenAI a annoncé GPT-4, le modèle qui succède à GPT-3.5, celui qui fait fonctionner la version gratuite de ChatGPT. Il est offert dès aujourd’hui à deux endroits : dans ChatGPT pour les personnes qui paient ChatGPT Plus, avec une limite sur le nombre de messages que vous pouvez envoyer, et aux développeurs par une API (un moyen pour des programmes d’appeler le modèle) qui a une liste d’attente.

L’affirmation phare est facile à répéter et facile à mal comprendre. OpenAI affirme que GPT-4 atteint un niveau de performance humain sur une série d’examens professionnels et scolaires, tout en étant moins capable que les gens dans bien des situations réelles. Les deux moitiés comptent.

Qu’est-ce qui est nouveau dans GPT-4?

OpenAI qualifie GPT-4 de modèle multimodal : il peut recevoir des images aussi bien que du texte en entrée, et il répond en texte. Dans l’annonce, il décrit panneau par panneau la photo d’un étrange chargeur de téléphone et explique pourquoi l’image est drôle. L’entrée d’images n’est pas encore ouverte au public; OpenAI commence avec un seul partenaire.

L’autre grand changement, c’est la qualité pour le travail exigeant. OpenAI a testé les deux modèles sur des examens conçus pour des humains, sans entraînement particulier pour ceux-ci. À une simulation de l’examen du barreau, celui que passent les avocats, GPT-4 s’est classé autour des 10 % des meilleurs candidats; GPT-3.5, autour des 10 % les plus faibles. OpenAI rapporte aussi que GPT-4 a obtenu un score 40 % plus élevé que son plus récent GPT-3.5 à des tests internes conçus pour repérer les affirmations fausses.

Les développeurs ont aussi plus d’espace. La version standard de l’API peut traiter 8 192 jetons (des morceaux de mots) de texte à la fois, et une version de 32 768 jetons, environ 50 pages, est offerte à un groupe restreint.

Où remarquerez-vous la différence?

OpenAI reconnaît franchement que dans une conversation détendue, les deux modèles peuvent être difficiles à distinguer. L’écart apparaît quand la tâche se complique. Voici un guide approximatif fondé sur ce que décrit OpenAI :

La troisième ligne est un bon test. Essayez un prompt qui comporte plusieurs contraintes à la fois :

Tu es un planificateur de voyages expérimenté. Planifie un voyage de 3 jours à Montréal pour deux adultes à la fin avril, avec un budget total de 900 dollars canadiens, sans compter le train. L’un de nous est végétarien et aucun de nous ne conduit. Donne un tableau jour par jour avec le matin, l’après-midi et le soir, un coût estimé pour chaque ligne et un total final. Si quelque chose ne rentre pas dans le budget, dis-le au lieu de le cacher.

Un modèle plus faible a tendance à oublier le repas végétarien, la règle sans voiture ou le total cumulatif. Un modèle qui suit chaque condition, c’est ce qu’OpenAI entend par gérer des consignes plus nuancées. Dans tous les cas, vérifiez les prix vous-même : le modèle ne connaît pas les prix actuels.

Qu’est-ce qui n’a pas changé?

La section sur les limites d’OpenAI ressemble beaucoup à celle des modèles précédents. GPT-4 invente encore des faits et fait des erreurs de raisonnement; selon la formule d’OpenAI, « il n’est toujours pas entièrement fiable ». Ses connaissances s’arrêtent pour l’essentiel en septembre 2021, il n’apprend pas de vos conversations, et il peut se tromper avec assurance, ou se laisser trop facilement convaincre par une affirmation fausse que vous lui donnez. OpenAI recommande une prudence accrue, par exemple une révision humaine, pour tout ce qui comporte des enjeux importants.

Une fonction à surveiller est ce qu’OpenAI appelle la steerability (la capacité d’orienter le modèle). Les développeurs peuvent maintenant fixer le style et la tâche du modèle dans un message « système », une consigne permanente qui chapeaute la conversation. L’un des exemples de l’annonce est un tuteur qui ne donne jamais la réponse et ne pose que des questions pour guider l’élève. OpenAI affirme que les utilisateurs de ChatGPT auront bientôt ce genre de contrôle.

Vaut-il la peine de payer ChatGPT Plus pour avoir GPT-4?

ChatGPT Plus coûte 20 $ US par mois. Avant GPT-4, l’abonnement promettait l’accès quand le service gratuit est surchargé, des réponses plus rapides et un accès anticipé aux nouvelles fonctions; OpenAI affirme que ChatGPT gratuit reste offert. Désormais, les abonnés Plus ont aussi GPT-4, avec un plafond d’utilisation qu’OpenAI ajustera selon la demande. L’entreprise prévient que la capacité sera très limitée au début : attendez-vous donc à un plafond serré au cours des prochaines semaines.

Ça vaut la peine si votre travail comporte des consignes longues et détaillées : rédiger des rapports, planifier de façon structurée, programmer, analyser ou apprendre une matière difficile où les erreurs de raisonnement vous font perdre du temps. Dans ces cas, c’est surtout l’écart dans le respect des consignes que vous payez.

Ça ne vaut probablement pas encore la peine si vous posez surtout des questions rapides, écrivez de courts messages ou cherchez des idées. GPT-3.5 s’en tire bien, et la limite de messages de GPT-4 fait que vous ne l’utiliseriez pas pour tout, de toute façon.

Une approche raisonnable consiste à tenir une courte liste des tâches où la version gratuite vous a déçu, à vous abonner pour un mois et à tester ces tâches. Si GPT-4 en règle la plupart, gardez-le. OpenAI dit aussi espérer offrir un jour quelques requêtes gratuites à GPT-4 : attendre est donc aussi un choix raisonnable.