Pourquoi ne pas croire tout ce que dit ChatGPT?

ChatGPT excelle à avoir l’air d’avoir raison. Sa grammaire est soignée, son ton est calme et il nuance rarement. C’est justement ce fini qui rend ses erreurs faciles à manquer. Quand il se trompe sur une date, une statistique ou un titre de livre, il le dit de la même voix assurée qu’il utilise pour tout le reste.

A Beginner’s Guide to ChatGPT, le livre de Robert Scales publié en avril, s’ouvre sur une mise en garde à ce sujet avant même d’enseigner un seul prompt : les modèles GPT font des erreurs et peuvent inventer de l’information; vérifiez donc les sources, les données, les coordonnées et les chiffres, et gardez un humain responsable de la version finale. Ce dernier article de notre série sur la méthode du livre porte sur l’étape finale : vérifier.

Pourquoi ChatGPT se trompe

Un modèle de langage est entraîné à prédire un texte probable, pas à chercher des faits. Quand vous posez une question, il écrit la réponse qui correspond le mieux aux régularités qu’il a apprises. La plupart du temps, la réponse probable et la vraie réponse sont les mêmes. Quand elles ne le sont pas, vous obtenez ce qu’on appelle une hallucination : une affirmation fluide sans rien de réel derrière.

OpenAI le dit ouvertement. Sa page d’aide sur ChatGPT indique que l’outil n’est pas connecté à Internet, qu’il peut parfois donner des réponses inexactes, qu’il connaît mal les événements postérieurs à 2021 et qu’il lui arrive d’inventer des faits. La même page recommande de vérifier l’exactitude des réponses du modèle. Elle explique aussi pourquoi les réponses semblent si humaines : les modèles ont appris à partir d’énormes quantités de textes écrits par des humains, ce qui les fait paraître naturels même quand ils se trompent.

GPT-4, le modèle plus récent offert aux abonnés de ChatGPT Plus, fait mieux, mais n’est pas guéri. OpenAI rapporte qu’il a obtenu des résultats 40 % plus élevés que GPT-3.5 à ses tests internes d’exactitude factuelle et, dans la même annonce, affirme que GPT-4 « n’est toujours pas entièrement fiable ». Il peut se tromper avec assurance et accepter trop facilement une affirmation fausse de l’utilisateur.

Quelles affirmations vérifier en premier

Toutes les phrases ne comportent pas le même risque. Un remue-méninges de thèmes de fête ne peut pas vraiment être faux. Un résumé de règles fiscales peut vous coûter de l’argent. Consacrez votre temps de vérification là où les erreurs font mal :

Une règle utile : plus une affirmation semble précise et vérifiable, plus il est important de la vérifier. Les détails précis rendent une réponse convaincante, et c’est aussi là que le contenu inventé a tendance à se cacher.

Demandez des sources, puis vérifiez-les

Le livre suggère de demander à ChatGPT d’indiquer d’où viennent ses affirmations. Cela aide, à condition de traiter les sources qu’il énumère comme des pistes plutôt que comme des preuves. Comme le modèle peut inventer des faits, il peut aussi produire des titres, des auteurs ou des liens qui ont l’air réels et ne le sont pas. Formulez la demande de façon à faciliter la vérification :

Pour chaque affirmation factuelle de ta dernière réponse, inscris-la sur une ligne distincte. À côté de chacune, indique ton degré de confiance (élevé, moyen ou faible) et nomme le type de source où je pourrais la confirmer, comme un site officiel, une page gouvernementale ou une étude publiée. N’invente ni titres ni liens; si tu n’es pas sûr qu’une source précise existe, dis-le.

Cela ne rend pas le modèle véridique, mais transforme une longue réponse en liste de vérification et vous signale les affirmations les plus faibles.

Comment vérifier rapidement une réponse d’IA?

Utilisez une courte routine qui tient en quelques minutes. D’abord, survolez la réponse et soulignez les affirmations qui comptent : chiffres, noms, dates, citations et consignes sur lesquelles vous agiriez. Ignorez le reste pour l’instant.

Ensuite, vérifiez chaque affirmation soulignée auprès d’une source fiable, idéalement la source originale : le site officiel, la page gouvernementale, l’annonce de l’entreprise elle-même, l’étude publiée. Un moteur de recherche est le bon outil ici, parce qu’il vous montre d’où vient l’information. Si vous ne trouvez une affirmation nulle part ailleurs que dans la conversation, considérez-la comme non confirmée et laissez-la de côté.

Puis, mettez à l’épreuve les parties fragiles avec le modèle lui-même. Posez la même question dans une nouvelle conversation ou en d’autres mots. Si deux réponses divergent sur un fait, au moins l’une d’elles est fausse. Vous pouvez aussi le contester directement (« Es-tu sûr de cette date? »), mais n’oubliez pas qu’il peut simplement vous donner raison, dans un sens comme dans l’autre.

Enfin, gardez l’humain aux commandes. Utilisez ChatGPT pour ce qu’il fait le mieux, comme rédiger, expliquer, organiser et suggérer, et faites vous-même la confirmation. La méthode du livre se termine ici pour une raison : le rôle, le contexte, la tâche et le format vous donnent une meilleure réponse, et la vérification est ce qui la rend sûre à utiliser.