Comment utiliser les citations de Bing Chat pour vérifier une réponse?

Le mode clavardage du nouveau Bing ne fonctionne pas comme un robot conversationnel qui se souvient seulement de ses textes d’entraînement. Avant d’écrire, Bing lance une recherche Web et transmet une partie des résultats au modèle de langage, qui rédige ensuite une réponse à partir de ceux-ci. Microsoft appelle ce contenu des données d’ancrage (grounding data) : les faits auxquels le modèle est censé rester lié. La réponse énumère ensuite ses sources sous forme de liens, affichés dans une section « en savoir plus » à la fin de la réponse.

Ces liens sont l’élément le plus utile à l’écran. Dans son bilan de la première semaine, Microsoft indique que les testeurs ont apprécié les citations parce qu’elles facilitent la vérification des faits et offrent un point de départ pour approfondir. Mais une citation est une affirmation, pas une preuve. Le modèle peut encore mélanger deux sources, mal lire un chiffre ou rattacher un lien à une phrase que la page n’appuie pas. Une fois la routine acquise, la vérification ne prend qu’une minute ou deux.

Ce qu’une citation vous dit, et ce qu’elle ne vous dit pas

Une citation vous dit quelle page Bing a utilisée. Elle ne vous dit pas que la page est fiable, qu’elle est récente, ni que la phrase de la réponse correspond à ce que dit la page. Voyez-la comme une note de bas de page dans le travail d’un élève : utile, parce que vous pouvez la suivre, mais il faut quand même lire la source pour savoir si l’élève l’a bien comprise.

Microsoft ne cache pas les points faibles du système. Son bilan de la première semaine indique que les réponses qui exigent des données très fraîches, comme les résultats sportifs en direct, posent un défi. Pour les questions factuelles directes, comme les chiffres tirés de rapports financiers, l’entreprise prévoit de fournir au modèle quatre fois plus de données d’ancrage. D’ici là, ce sont les chiffres qui méritent l’examen le plus attentif.

Une vérification complète, étape par étape

Imaginez que vous posez une question sur une nouvelle de cette semaine.

Qu’a décidé le conseil municipal, à la séance de cette semaine, au sujet des nouvelles pistes cyclables du centre-ville? Donne le résultat du vote et la date.

Supposons que Bing réponde en trois phrases avec deux liens numérotés, l’un vers un journal local et l’autre vers le site Web de la ville. La réponse ci-dessous est donnée à titre d’illustration, pour montrer la méthode; ce n’est pas une vraie réponse de Bing :

Le conseil a approuvé le projet de pistes cyclables mardi par un vote de 7 contre 2 [1]. Les travaux devraient commencer au printemps [2].

Vérifiez-la maintenant en quatre étapes :

1. Choisissez les affirmations qui comptent. Ici, le résultat du vote, la date et le début des travaux.
2. Ouvrez la citation 1. Utilisez la fonction de recherche de votre navigateur (Ctrl+F ou Cmd+F) pour chercher « 7 » ou « vote » dans la page. L’article dit-il 7 contre 2, ou la réponse a-t-elle changé les chiffres?
3. Ouvrez la citation 2. Cherchez la date du début des travaux. Vérifiez aussi la date de la page elle-même : une page de la ville datant de l’an dernier pourrait décrire un projet plus ancien.
4. Notez qui parle. Un communiqué de la ville, un reportage de journal et un billet de blogue d’un lecteur n’ont pas le même poids.

Consignez vos constats dans un tableau simple :

Si une affirmation n’a aucune citation, considérez-la comme non vérifiée. Cherchez-la vous-même ou posez à Bing une question de suivi : « Quelle source dit cela? »

Quelques habitudes utiles

Gardez les conversations courtes et ciblées. Microsoft a constaté que, dans les longues séances de 15 questions ou plus, Bing pouvait devenir répétitif ou s’éloigner du ton prévu, et que les très longues conversations pouvaient le mêler quant à la question à laquelle il répondait. Depuis le 17 février, les conversations sont plafonnées; depuis cette semaine, la limite est de 6 échanges par séance et de 60 conversations par jour. Si la réponse commence à dériver, passez à un nouveau sujet plutôt que d’insister.

Microsoft commence aussi à tester un réglage du ton qui va de Precise (précis), avec des réponses plus courtes centrées sur la recherche, à Creative (créatif), avec des réponses plus longues et plus bavardes. Pour vérifier des faits, c’est l’extrémité « précise » qu’il faut surveiller.

Quand utiliser Bing Chat plutôt que ChatGPT?

Utilisez Bing Chat quand la réponse dépend d’informations récentes ou quand vous devez voir d’où vient un fait. ChatGPT écrit à partir de données d’entraînement qui s’arrêtent en 2021 et ne fait pas de recherche sur le Web; il ne peut donc pas vous parler des nouvelles de la semaine, des prix du jour ou d’un rapport qui vient de paraître. Bing cherche d’abord et montre ses sources, ce qui en fait un meilleur point de départ pour l’actualité, les comparaisons de produits et tout ce que vous comptez citer.

ChatGPT reste un bon choix pour les tâches où la fraîcheur et les sources n’ont pas d’importance : trouver des idées, reformuler un paragraphe, expliquer une notion stable comme la photosynthèse ou rédiger un courriel à partir de notes que vous fournissez. Dans ces cas, il n’y a aucun fait à vérifier, et une conversation plus longue, sans interruption, peut aider.

Gardez en tête que le nouveau Bing est encore un aperçu limité avec liste d’attente; tout le monde n’y a donc pas encore accès. Quel que soit l’outil que vous utilisez, la règle est la même : plus une affirmation compte pour vous, plus vous devriez la vérifier dans la source d’origine.