Pourquoi les modèles de langage hallucinent-ils, selon la recherche d’OpenAI?

Une hallucination est une affirmation d’un modèle d’IA qui semble plausible, mais qui est fausse : un titre de livre inventé, une date erronée dite avec assurance, une citation que personne n’a prononcée. Les utilisateurs connaissent le problème depuis les premiers robots conversationnels. Ce qui manquait, c’est une explication claire de la raison pour laquelle il persiste alors que les modèles s’améliorent dans presque tout le reste.

Le 5 septembre, OpenAI a publié un article de recherche intitulé Why Language Models Hallucinate (pourquoi les modèles de langage hallucinent), accompagné d’un résumé en langage clair sur son blogue. Ses auteurs sont Adam Tauman Kalai, Ofir Nachum, Santosh Vempala et Edwin Zhang. Sa réponse a deux volets : d’où viennent les erreurs, et pourquoi l’entraînement ne les élimine pas.

Premier volet : certains faits ne s’apprennent pas à partir de régularités

Un modèle de langage apprend d’abord en prédisant le mot suivant dans une énorme quantité de texte. Ce texte ne porte aucune étiquette disant « cette phrase est vraie » ou « celle-ci est fausse »; le modèle ne voit que des exemples d’écriture fluide.

Certaines choses suivent des régularités qui peuvent s’apprendre de cette façon. L’orthographe et les parenthèses qui se ferment sont constantes : les grands modèles s’y trompent donc rarement. D’autres choses sont arbitraires. La date d’anniversaire d’une personne en particulier ne suit aucune régularité; soit vous l’avez vue, soit non. L’article montre que si un fait n’apparaît qu’une seule fois dans les données d’entraînement, le modèle a très peu d’indices, et il estime que le taux d’erreur sur ces faits sera au moins aussi élevé que la proportion de faits qui n’apparaissent qu’une fois. Si le cinquième des dates d’anniversaire dans les données n’est mentionné qu’une seule fois, attendez-vous à ce que le modèle de base se trompe sur au moins le cinquième des questions d’anniversaire.

Les auteurs l’illustrent avec la date d’anniversaire du premier auteur lui-même. Quand on la lui a demandée, en précisant de répondre seulement s’il la connaissait, un modèle à code source ouvert a donné trois dates fausses différentes en trois essais.

Deuxième volet : les tests récompensent le bluff

Après cette première étape, les modèles sont peaufinés, puis mesurés sur des bancs d’essai, des ensembles normalisés de questions de test. La plupart des bancs d’essai notent une réponse comme juste ou fausse, un point ou zéro. Un « Je ne sais pas » vaut aussi zéro.

OpenAI compare cela à un examen à choix multiples. Si vous laissez une question en blanc, vous n’obtenez assurément rien; si vous devinez, vous aurez peut-être de la chance. Un élève qui devine toujours finit avec une meilleure note que celui qui admet son incertitude, et un modèle ajusté pour obtenir une bonne note prend la même habitude. L’article parle d’une épidémie de pénalisation de l’incertitude.

Le blogue d’OpenAI donne un exemple tiré de ses propres tests sur SimpleQA, un ensemble de courtes questions factuelles :

Le modèle plus ancien obtient un taux d’exactitude légèrement plus élevé : il serait donc mieux classé dans un palmarès qui ne compte que les bonnes réponses. Mais il donne une mauvaise réponse près de trois fois plus souvent.

La solution proposée est de changer la notation : pénaliser les erreurs assurées davantage que les abstentions, et énoncer la règle dans la question. L’article suggère des consignes comme « ne réponds que si tu es sûr à plus de 75 %; une mauvaise réponse coûte 2 points, une bonne en rapporte 1, et “Je ne sais pas” rapporte 0 ».

Un prompt concret qui permet de dire « Je ne sais pas »

Vous ne pouvez pas réentraîner ChatGPT, mais vous pouvez appliquer la même idée dans vos propres prompts en faisant de l’incertitude une réponse acceptable.

J’ai besoin de faits exacts pour un document imprimé : une mauvaise réponse est pire que pas de réponse.

Pour chaque question ci-dessous :
- Réponds seulement si tu es sûr. Sinon, écris « Pas sûr » et dis-moi quoi vérifier.
- Indique pour chaque réponse un niveau de confiance : élevé, moyen ou faible.
- Si tu utilises la recherche Web, nomme la page sur laquelle tu t’es appuyé.

1. En quelle année la bibliothèque publique de notre ville a-t-elle ouvert?
2. Qui a conçu le pont couvert du chemin du Moulin?
3. Quel est le tarif actuel d’une carte de bibliothèque pour les non-résidents?

Ce prompt fait trois choses. Il explique le coût d’une erreur, il donne au modèle une règle de notation qui récompense l’honnêteté, et il demande un niveau de confiance pour chaque élément. Il ne rendra pas le modèle parfaitement calibré, mais il enlève la pression de remplir chaque case.

Qu’est-ce que ça change à votre façon de vérifier les réponses?

D’abord, attendez-vous à ce que les réponses les plus risquées portent sur des détails rares : l’année de fondation d’une petite entreprise, la liste des livres d’un auteur peu connu, un règlement municipal, une statistique précise. La recherche suggère que ce sont exactement les faits que le modèle a le moins vus, et donc ceux qu’il risque le plus d’inventer. Les faits célèbres sont plus sûrs; les faits obscurs doivent être vérifiés chaque fois.

Ensuite, traitez l’assurance comme un style, pas comme une preuve. Un modèle entraîné pour bien noter a appris qu’une réponse catégorique est habituellement payante. Une date précise ou une citation bien tournée ne vous dit rien sur son exactitude. Confirmez tout ce que vous allez répéter, imprimer ou utiliser pour agir, à l’aide d’une source que vous pouvez ouvrir et lire.

Enfin, récompensez l’honnêteté dans votre propre usage. Quand un modèle dit « Je ne suis pas sûr », c’est une information utile, pas un échec. Posez des questions de suivi, activez la recherche Web pour les faits récents et demandez la source pour pouvoir la vérifier. OpenAI affirme que GPT-5 hallucine moins que les modèles précédents, surtout quand il raisonne, mais il hallucine encore; l’habitude de vérifier reste la même.