Que veulent vraiment dire les résultats de GPT-4 aux examens?

Quand OpenAI a présenté GPT-4 le 14 mars, le chiffre phare était son résultat à l’examen du barreau. À une simulation de l’Uniform Bar Exam, un examen américain normalisé d’admission à la profession d’avocat, GPT-4 a obtenu 298 sur 400, ce qu’OpenAI situe environ au 90e centile des candidats humains. GPT-3.5, le modèle précédent, a obtenu 213, autour du 10e centile. Le bond est réel et frappant.

Mais un centile est une comparaison avec des personnes qui passent un test conçu pour des personnes. Pour savoir ce que cela veut dire pour vous, il est utile de regarder le tableau complet, la façon dont les tests ont été menés, et ce que les critiques soulignent cette semaine.

Lisez tout le tableau, pas seulement la manchette

Le rapport technique énumère plus de 30 examens. Quelques lignes racontent une histoire plus nuancée que le seul examen du barreau :

La tendance mérite qu’on s’y attarde. GPT-4 réussit le mieux là où les questions récompensent des connaissances générales et la lecture. Il réussit beaucoup moins bien les dissertations sur la littérature et les problèmes de programmation difficiles et inédits. Le rapport indique aussi 3 problèmes difficiles résolus sur 45 sur LeetCode, un site d’entraînement à la programmation.

OpenAI elle-même met en garde contre une lecture excessive. Son annonce précise que la différence avec GPT-3.5 peut être subtile dans une conversation détendue et apparaît surtout dans les tâches complexes. Elle affirme aussi que GPT-4 invente encore des faits et fait des erreurs de raisonnement.

Comment les tests ont-ils été menés?

Selon le rapport, OpenAI n’a fait aucun entraînement particulier pour ces examens. Les questions provenaient de documents accessibles au public, et les résultats ont été convertis en centiles à l’aide des distributions de résultats publiées. L’examen du barreau a été administré par des collaborateurs externes de Casetext et de Stanford CodeX.

Le détail clé est la contamination : des questions d’examen qui figurent aussi dans les données d’entraînement du modèle. Un modèle qui a déjà vu une question peut s’en souvenir plutôt que de raisonner, comme un élève qui a mémorisé le corrigé de l’an dernier. OpenAI affirme qu’une minorité des questions d’examen se trouvaient dans les données d’entraînement. Pour chaque examen, elle a fait passer une version sans ces questions et a rapporté le plus faible des deux résultats.

Ce que disent les critiques

Les informaticiens Arvind Narayanan et Sayash Kapoor ont publié une critique le 20 mars sur leur blogue, AI Snake Oil. Ils soulèvent deux points.

D’abord, la contamination pourrait être pire que ce que laisse entendre le rapport. Ils citent une observation du chercheur Horace He : sur des problèmes faciles du site de programmation Codeforces, GPT-4 en a résolu 10 sur 10 parmi ceux d’avant 2021, mais aucun sur 10 parmi les récents. Les données d’entraînement de GPT-4 vont jusqu’à septembre 2021. Ils soutiennent aussi que la méthode d’OpenAI, qui cherche des correspondances exactes de courts extraits de texte, ne détecterait pas une question reformulée ou dont on aurait changé les noms et les chiffres.

Ensuite, même un résultat propre ne veut peut-être pas dire ce qu’il semble dire. Les examens conçus pour des humains supposent qu’une personne qui répond correctement possède les compétences de fond dont un professionnel a besoin. Un modèle entraîné sur une énorme quantité de texte peut répondre grâce à des exemples très semblables qu’il a déjà vus, avec un raisonnement beaucoup plus superficiel. Et l’examen du barreau met l’accent sur les connaissances juridiques, que les modèles de langage maîtrisent bien, plus que sur des compétences pratiques comme mener une entrevue avec un client.

Un mini-test sur votre propre tâche

Avant de vous fier à un résultat, faites votre propre petit test. Rassemblez dix exemples réels tirés de votre travail dont vous connaissez déjà la bonne réponse, et gardez chaque fois le même format :

Tu aides un petit cabinet comptable. Lis le courriel du client ci-dessous et énumère, sous forme de liste à puces, tous les documents que le client doit encore nous envoyer. Si le courriel n’est pas clair, dis ce que tu demanderais au client.

Courriel : [colle ici un vrai courriel anonymisé]

Notez chaque réponse comme correcte, partiellement correcte ou fausse, et indiquez le type d’erreur. Dix exemples ne constituent pas une étude scientifique, mais ils vous en apprendront davantage sur votre usage que n’importe quel centile à l’examen du barreau.

Pourquoi les bancs d’essai ne prédisent-ils pas comment il se débrouillera avec votre tâche?

Un banc d’essai (benchmark) est un ensemble fixe de questions de test qui sert à comparer des modèles. Les bancs d’essai sont utiles pour suivre les progrès, mais ils ont trois lacunes quand vous voulez savoir si GPT-4 vous aidera.

Les questions ne sont pas les vôtres. Une question de l’examen du barreau a une seule bonne réponse et une mise en situation bien ordonnée. Votre travail comporte probablement des documents désordonnés, des objectifs flous et de l’information qui change. Un modèle peut exceller dans le premier cas et manquer de fiabilité dans le second.

Votre tâche peut aussi porter sur des choses que le modèle n’a jamais vues. GPT-4 sait généralement peu de choses sur les événements postérieurs à septembre 2021, et il ne sait rien des politiques de votre entreprise, de vos règles locales ou de vos clients. Narayanan et Kapoor soulignent que le monde change sans cesse : un modèle qui s’appuie sur des schémas familiers a donc moins de ressources quand quelque chose est nouveau.

Enfin, un résultat unique cache la façon dont le modèle échoue. Un résultat au 88e centile ne vous dit pas si ses erreurs sont des coquilles sans gravité ou des erreurs affirmées avec assurance qui pourraient vous coûter de l’argent.

C’est pourquoi le mini-test ci-dessus compte davantage que le chiffre phare : il mesure le modèle sur vos questions, votre format et votre propre idée d’une bonne réponse.