Pourquoi les AI Overviews de Google se trompent-ils parfois?

Le 14 mai, lors de sa conférence I/O, Google a commencé à montrer les AI Overviews (aperçus de l’IA) à tout le monde aux États-Unis : une courte réponse rédigée par l’IA en haut des résultats de recherche, avec des liens vers les pages dont elle s’inspire. En quelques jours, des captures d’écran de réponses étranges circulaient partout. L’une prenait au sérieux la question du nombre de roches qu’une personne devrait manger. Une autre recommandait de la colle pour empêcher le fromage de glisser de la pizza.

Le 30 mai, Liz Reid, qui dirige la recherche Google, a publié une explication de ce qui avait mal tourné. Son billet est utile à quiconque utilise la recherche par IA, parce que les erreurs suivent des tendances, et qu’une fois qu’on connaît ces tendances, on peut les repérer.

Comment fonctionnent les AI Overviews

Selon Google, les AI Overviews ne sont pas un robot conversationnel qui répond de mémoire. Une version sur mesure du modèle Gemini de Google travaille de concert avec les systèmes de classement de l’entreprise, la même mécanique qui décide quelles pages apparaissent en premier dans les résultats ordinaires. Le modèle est censé n’écrire que ce qu’appuient les premiers résultats et y renvoyer par des liens, pour que vous puissiez vérifier.

Google affirme que, pour cette raison, les AI Overviews n’« hallucinent » généralement pas, le terme qui désigne une IA qui invente des faits. Google évoque plutôt trois autres causes : mal comprendre ce que la personne a demandé, mal saisir une nuance sur une page Web, et le manque de bonne information sur le sujet. Autrement dit, le résumé ne vaut que ce que valent les pages qu’il lit et la façon dont il les lit.

L’exemple concret : les roches et la colle

Les deux erreurs célèbres illustrent deux de ces causes.

Manger des roches : un vide de données. Presque personne n’avait jamais cherché combien de roches manger, et presque personne n’avait écrit sérieusement sur le sujet. Google appelle cela un vide de données (data void) : une question derrière laquelle il y a peu de contenu fiable. L’une des rares pages qui abordaient la question était un article satirique, republié plus tard sur le site Web d’une entreprise de logiciels de géologie. Le système l’a traité comme une vraie réponse et a mis un lien vers lui.

De la colle sur la pizza : une blague de forum. Les forums de discussion contiennent souvent de vrais conseils tirés de l’expérience, et c’est pourquoi les moteurs de recherche les valorisent. Ils contiennent aussi du sarcasme et de la provocation. Dans ce cas-ci, une suggestion faite à la blague sur un forum s’est retrouvée présentée comme un conseil de cuisine.

Google affirme aussi que bon nombre des captures d’écran partagées en ligne étaient fausses, dont certaines qui montraient des conseils dangereux sur la dépression ou sur le fait de laisser des chiens dans une voiture. Sa suggestion : faites la recherche vous-même avant de croire une capture d’écran.

Ce que Google a changé

Google affirme avoir apporté plus d’une dizaine de changements techniques. Ils comprennent une meilleure détection des questions absurdes qui ne devraient pas recevoir d’AI Overview, un recours moindre à la satire et à l’humour, moins de dépendance au contenu rédigé par les utilisateurs là où il pourrait induire en erreur, et moins d’AI Overviews pour les requêtes où ils n’aidaient pas. Pour les sujets de santé, elle a ajouté des restrictions supplémentaires, et elle vise à ne pas montrer du tout d’AI Overviews pour l’actualité brûlante. Google rapporte que des manquements à ses politiques de contenu se sont produits dans moins d’une recherche distincte sur 7 millions ayant affiché un AI Overview.

L’échelle fait partie de l’histoire. TechCrunch rapportait au lancement que les AI Overviews atteignaient des centaines de millions d’utilisateurs américains cette semaine-là, et que l’objectif de Google est de dépasser le milliard de personnes avant la fin de 2024. Même un taux d’erreur très faible donne beaucoup de réponses bizarres quand les chiffres sont aussi grands.

Comment les utiliser en toute sécurité?

Traitez un AI Overview comme un point de départ, pas comme un verdict. C’est un résumé rapide de ce que disent certaines pages, et sa valeur dépend de ces pages. Les liens sont la partie la plus utile : ouvrez-en au moins un avant d’agir sur quoi que ce soit d’important.

Regardez qui parle. Si la réponse s’appuie sur un forum, un site humoristique ou une entreprise qui vend quelque chose, accordez-lui le poids qui convient. Pour les questions de santé, d’argent, de droit ou de sécurité, allez directement à une source qui fait autorité, comme un organisme public de santé, votre banque ou un professionnel autorisé à exercer, même si l’aperçu semble raisonnable.

Soyez particulièrement prudent avec les questions inhabituelles. L’exemple des roches montre que ce sont les requêtes les plus étranges qui risquent le plus de tomber dans un vide de données. Si vous posez une question que peu de gens ont posée avant vous, le résumé reposera peut-être sur une seule page bizarre.

Enfin, vérifiez les captures d’écran avant de les partager. Certains des exemples les plus alarmants qui ont circulé ces derniers jours ne sont jamais apparus dans Google. Faire vous-même la même recherche prend quelques secondes et empêche une fausseté de se répandre.