Comment amener ChatGPT à citer ses sources?

Demander des sources à ChatGPT est un conseil classique de rédaction de prompts, et ChatGPT : Le Guide Pour Débutant le donne aussi : quand vous avez besoin de preuves, demandez des références qui appuient chaque affirmation. Ce qui a changé cet automne, c’est ce que vous obtenez en retour. Depuis le 27 septembre, la navigation est de retour pour les utilisateurs de ChatGPT Plus, et le 17 octobre, OpenAI l’a sortie de la version bêta. Avec la navigation activée, ChatGPT peut chercher sur le Web et vous donner des liens directs vers les pages sur lesquelles repose sa réponse. Avec la navigation désactivée, il écrit encore à partir de ce qu’il a appris pendant son entraînement, et ses « sources » sont tout autre chose.

Comprendre cette différence, c’est toute l’habileté. Une citation est un renvoi à l’origine d’une affirmation : un auteur, un titre, une date, idéalement un lien. Les citations tirées d’une séance de navigation renvoient à des pages que l’outil a réellement ouvertes. Les citations de mémoire sont du texte que le modèle a généré parce que les citations ressemblent habituellement à cela.

Comment activer la navigation

Dans ChatGPT Plus ou Enterprise, ouvrez le menu des modèles, choisissez GPT-4, puis Browse with Bing. Vous n’avez plus besoin d’activer d’abord un réglage bêta. Les comptes gratuits qui utilisent le modèle standard n’ont pas la navigation; les étapes ci-dessous pour « navigation désactivée » s’appliquent donc à eux.

La navigation lève aussi l’ancienne limite sur les événements récents. OpenAI affirme que le modèle avec navigation n’est plus limité aux données antérieures à septembre 2021.

La même demande, de deux façons

Voici un prompt conçu pour obtenir des citations vérifiables :

Cherche sur le Web et réponds : quelles sont les règles de l’Agence du revenu du Canada
pour déduire des dépenses de bureau à domicile comme employé cette année?
Pour chaque affirmation factuelle, ajoute le lien vers la page d’où elle vient.
Privilégie les pages gouvernementales officielles. Si tu ne trouves pas de source pour une affirmation, dis-le.
À la fin, énumère les pages que tu as utilisées, avec leur titre.

Avec Browse with Bing activé, une bonne réponse montre qu’il a cherché, puis répond en courts paragraphes avec des liens après chaque affirmation, idéalement vers des pages de canada.ca. Vous pouvez cliquer sur chacun.

Avec la navigation désactivée, le même prompt produit quand même une réponse, et il peut encore produire quelque chose qui ressemble à une liste de références. Mais le modèle ne peut pas ouvrir de pages. Les titres et les liens sont reconstitués de mémoire : certains seront exacts, certains mèneront à des pages qui ont été déplacées, et certains n’existeront peut-être pas du tout. Changez la demande quand la navigation est désactivée :

Réponds à partir de ce que tu sais, et dis-moi quels points je devrais vérifier.
Au lieu de liens, nomme le type de source officielle que je devrais consulter pour chaque point
(par exemple, la page de l’ARC sur les dépenses d’emploi) pour que je puisse la trouver moi-même.

Cette version n’invite pas le modèle à inventer des adresses Web. Elle fait de ChatGPT un guide qui vous indique où chercher, un travail qu’il fait bien.

Une vérification des citations en deux minutes

Quel que soit le mode, soumettez chaque source à quatre questions avant de vous y fier :

La deuxième vérification attrape le plus de problèmes. Un vrai lien à côté d’une phrase ne prouve pas que la phrase vient de cette page. Utilisez la commande de recherche de votre navigateur (Ctrl+F ou Cmd+F) pour chercher sur la page un chiffre ou une expression clé de la réponse.

Pourquoi faut-il quand même les vérifier?

Parce qu’une citation ne vaut que la page qui se trouve derrière, et que ChatGPT ne sait pas distinguer une affirmation vraie d’une affirmation bien tournée. Ce printemps en a donné un exemple frappant. Des avocats qui poursuivaient la compagnie aérienne Avianca ont déposé un mémoire au tribunal qui citait six décisions antérieures qui n’existaient pas. L’un des avocats a dit les avoir trouvées avec ChatGPT et les avoir vérifiées en demandant au robot conversationnel si elles étaient réelles. Il a répondu oui, et a même affirmé qu’on pouvait les trouver dans les bases de données juridiques Westlaw et LexisNexis. Le juge Kevin Castel a écrit que ces décisions semblaient être de fausses décisions assorties de fausses citations. Demander au même outil de confirmer son propre travail n’est pas une vérification.

La navigation réduit le risque, mais ne l’élimine pas. ChatGPT peut encore résumer une page de façon approximative, confondre deux sources ou associer un lien à une affirmation qui vient d’ailleurs. Les pages Web elles-mêmes peuvent être périmées ou fausses. Et le modèle choisit les quelques pages qu’il lit, qui ne sont pas forcément les meilleures.

Traitez donc les citations de ChatGPT comme les notes d’un assistant de recherche. Elles font gagner du temps en vous orientant dans la bonne direction et, quand la navigation est activée, elles mènent habituellement à quelque chose de réel. Mais la décision de croire un fait vous appartient, et elle devrait reposer sur une page que vous avez vous-même ouverte et lue.