Pourquoi GPT-3 invente-t-il des choses?

GPT-3 peut répondre correctement à de nombreuses questions factuelles, et les personnes qui le testent dans la version bêta de l’API d’OpenAI sont souvent impressionnées. Il peut aussi affirmer une chose fausse avec une assurance totale. Les deux comportements ont la même source. GPT-3 est un modèle de langage : il a appris à prédire le prochain morceau de texte à partir d’une énorme quantité d’écrits, et il répond en prolongeant votre prompt de la façon la plus plausible. Parfois, la suite la plus plausible est un fait qu’il a absorbé de nombreuses fois. Parfois, c’est une supposition qui a seulement la bonne forme.

Il n’y a pas d’étape distincte de vérification des faits dans le modèle, ni de base de données qu’il consulte. Il n’a aucun signal intégré qui dit « je ne suis pas sûr », et il n’a aucun moyen de savoir ce qui s’est passé depuis la collecte de son texte d’entraînement. La model card (fiche technique du modèle) qu’OpenAI a publiée pour GPT-2, qui fonctionne de la même façon, précise que de tels modèles ne distinguent pas les faits de la fiction, et qu’OpenAI n’appuie pas les usages qui exigent que le texte soit vrai.

Ce que dit l’article sur GPT-3

Les chercheurs qui ont construit GPT-3 le disent ouvertement. Dans leur section sur les limites, ils notent que les longs échantillons peuvent se répéter, s’éloigner du sujet, se contredire et contenir parfois des phrases qui ne découlent pas de ce qui précède. Sur TriviaQA, un banc d’essai de questions de culture générale auxquelles il répond de mémoire, sans documents de référence, GPT-3 a obtenu 64,3 % sans exemple et 71,2 % avec quelques exemples, un résultat solide pour ce genre de test, qui laisse quand même environ trois questions sur dix mal répondues.

L’article explique aussi pourquoi de faux détails apparaissent dans les nouvelles écrites par la machine. Un modèle qui rédige un article à partir d’une manchette n’a pas accès aux faits réels qui la sous-tendent, ni même au moment où elle a été écrite. Il fournit donc des détails qui conviennent au style d’un article de nouvelles. Dans le test de l’article, les lecteurs humains distinguaient à peine ces articles des vrais, et c’est ce qui rend les détails inventés faciles à manquer.

Un exemple concret : des réponses à des questions impossibles

En juillet, le développeur Kevin Lacker a publié une série de tests de questions et réponses qu’il a menés avec GPT-3. Il commençait chaque session par un court prompt contenant des exemples de questions et de réponses correctes, puis posait les siennes. Beaucoup de réponses étaient justes. Puis il a posé des questions qui n’avaient aucune réponse valable :

Chaque réponse suit parfaitement la structure du prompt : un nom là où va un nom, un nombre là où va un nombre. Le modèle a rempli la forme d’une réponse sans vérifier qu’une bonne réponse existait. Comme le dit Lacker, GPT-3 ne sait pas dire qu’une question est absurde, ni dire qu’il ne sait pas.

La même chose se produit avec les demandes de sources ou de biographies. Demandez « trois études qui prouvent » une affirmation, ou la biographie d’une personne à peine documentée en ligne, et le modèle produira souvent quelque chose dans le bon format, avec des auteurs, des titres, des années ou des faits marquants de carrière, que de vrais éléments existent ou non dans son texte d’entraînement. Le résultat ressemble à une référence parce que les références suivent une structure familière, et ce sont des structures que le modèle a apprises.

Comment repérer une mauvaise réponse donnée avec assurance?

En général, l’écriture elle-même ne vous le dira pas. L’aisance et l’assurance sont justement les forces du modèle, et elles apparaissent que le contenu soit juste ou faux. Faites plutôt trois vérifications.

1. Vérifiez chaque détail précis. Les noms, les dates, les nombres, les citations et les titres sont les endroits où se cachent les détails inventés. Vérifiez chacun dans une source fiable, comme le catalogue d’une bibliothèque, une encyclopédie ou le document original. Si une référence est donnée, cherchez le titre exact. Une étude introuvable n’existe probablement pas.

2. Reposez la question autrement. Reformulez la question, ou lancez-la plusieurs fois à une température normale. Un fait que le modèle a vu souvent tend à revenir de la même façon. Un fait inventé change souvent : une autre année, un autre auteur, un autre deuxième prénom. Un désaccord entre les exécutions est un signal d’alarme important.

3. Vérifiez si la question a seulement une réponse. Demandez-vous si la prémisse est vraie avant de faire confiance à la réponse, comme pour un président en 1700. Vous pouvez aussi intégrer cela à votre prompt. Lacker a noté que d’autres obtenaient de meilleurs résultats en ajoutant des exemples où la bonne réponse est « inconnu » ou « cette question n’a pas de sens », ce qui montre au modèle que refuser de répondre est une suite acceptable.

Aucune de ces vérifications ne fait de GPT-3 une référence fiable. Elles font de vous un lecteur attentif de ce qu’il produit. Pour les tâches où un fait erroné peut causer du tort, comme la santé, l’argent ou le droit, traitez sa sortie comme un premier jet à vérifier, jamais comme la réponse elle-même.