Pourquoi les robots conversationnels inventent-ils des références?

À la fin de mai, une poursuite intentée à New York contre la compagnie aérienne Avianca est devenue la leçon la plus claire à ce jour sur la valeur d’une référence fournie par un robot conversationnel. Les avocats du passager ont déposé un mémoire qui citait des décisions judiciaires antérieures à l’appui de leur argument. Les avocats de la compagnie aérienne ne les ont pas trouvées. Le juge Kevin Castel a conclu que six des causes citées semblaient fausses, avec des citations inventées à l’appui, et a convoqué une audience sur d’éventuelles sanctions.

L’avocat qui avait fait la recherche, Steven Schwartz, a expliqué dans une déclaration sous serment qu’il avait utilisé ChatGPT. Il avait même essayé de vérifier : il a demandé au robot si l’une des causes était réelle, et celui-ci a répondu oui en affirmant qu’on pouvait la trouver dans les grandes bases de données juridiques Westlaw et LexisNexis. Il a dit qu’il ne savait pas que son contenu pouvait être faux.

Pourquoi cela se produit

Un grand modèle de langage, la technologie derrière ChatGPT, est entraîné sur d’immenses quantités de texte pour prédire quels mots risquent de venir ensuite. Il ne conserve pas de catalogue de documents qu’il pourrait aller chercher et, à moins d’activer une fonction de navigation, ChatGPT n’est pas connecté à Internet. Les pages d’aide d’OpenAI préviennent elles-mêmes que ChatGPT invente parfois des faits, ce que l’entreprise appelle des hallucinations.

Les références sont particulièrement faciles à inventer parce qu’elles suivent un modèle strict. Une décision judiciaire américaine se présente comme « Nom v. Nom, volume, recueil, page (tribunal, année) ». Un article de revue scientifique a des auteurs, un titre, une revue, une année, un volume et des pages. Le modèle en a vu des millions. Quand vous lui demandez une source, il peut produire un texte qui épouse parfaitement ce modèle, avec des noms de famille qui sonnent juste pour le domaine et une revue qui existe vraiment, sans aucun article réel derrière. Il lui arrive de mélanger des morceaux réels : l’une des causes inventées du mémoire dans l’affaire Avianca semblait emprunter à une vraie affaire de compagnie aérienne, mais avec une date et d’autres détails erronés.

C’est aussi pourquoi demander « Est-ce réel? » ne fonctionne pas. Le robot répond à cette question de la même façon qu’à la première, en produisant un texte probable, et « Oui, c’est réel » est une réponse probable.

À quelle fréquence cela se produit

Une étude publiée le 19 mai dans la revue Cureus a chiffré le problème pour la rédaction médicale. Les auteurs ont demandé à ChatGPT (la version GPT-3.5) de rédiger 30 courts articles médicaux avec des références, puis ont cherché les 115 références dans Medline, Google Scholar et un répertoire de revues en libre accès.

L’erreur la plus fréquente était un mauvais identifiant PubMed, le numéro PMID qui identifie chaque article dans la principale base de données médicale; il était faux dans 93 % des articles. Venaient ensuite les erreurs de volume, de pages et d’année. Il s’agit d’une petite étude portant sur une seule version du modèle, mais la tendance est claire : la plupart des références étaient inutilisables telles quelles.

Une vérification en trois étapes, exemple à l’appui

Supposons que ChatGPT vous donne cette référence dans une réponse sur le sommeil et la mémoire. Nous l’avons inventée pour l’exercice : les auteurs et l’article n’existent pas, même si la revue existe, et c’est exactement à cela que ressemblent souvent les références inventées.

Martin, L., & Okafor, D. (2019). Sleep spindles and overnight memory consolidation in older adults. Journal of Sleep Research, 28(4), 412–420.

1. Trouvez-la par vous-même. Cherchez le titre exact entre guillemets dans Google Scholar ou, pour la médecine, dans PubMed. Ne cliquez pas sur un lien fourni par le robot; les liens aussi peuvent être inventés. Si aucun résultat ne porte ce titre, considérez la référence comme fausse.
2. Comparez chaque détail. Si un article semblable apparaît, comparez les auteurs, l’année, la revue, le volume et les pages. Un vrai article avec d’autres auteurs ou une autre année est un signal d’alarme : le robot a peut-être cousu des morceaux ensemble.
3. Lisez la source. Ouvrez le résumé ou le texte intégral et confirmez qu’il dit vraiment ce que le robot affirmait. Un vrai article cité pour un résultat qu’il ne contient pas reste une référence erronée.

Comment vérifier qu’une référence existe vraiment?

Utilisez la base de données conçue pour ce type de source, pas le robot conversationnel ni une page Web générale qui la reprend. Pour les articles de recherche, Google Scholar couvre tous les domaines et PubMed couvre la médecine. Pour les décisions judiciaires, utilisez le site officiel d’un tribunal ou une base de données juridique comme Westlaw ou LexisNexis. Pour les livres, un catalogue de bibliothèque ou le site de l’éditeur. Si la référence comprend un DOI, un identifiant permanent des articles scientifiques, collez-le après doi.org et voyez s’il ouvre bien l’article nommé.

Vérifiez chaque élément, pas seulement le titre, et notez où vous avez confirmé chacun. Si vous ne trouvez pas une référence après une recherche raisonnable, ne la citez pas. Trouvez une vraie source qui appuie votre point, ou laissez tomber ce point.

Une meilleure habitude consiste à inverser l’ordre : trouvez d’abord les sources, puis utilisez un robot conversationnel pour vous aider à résumer ou à organiser ce que vous avez réellement lu. Les outils de clavardage qui font des recherches sur le Web et donnent un lien vers leurs sources facilitent la première étape, mais leurs liens doivent quand même passer les trois mêmes vérifications avant que quoi que ce soit n’entre dans un rapport, un travail scolaire ou un document déposé au tribunal.