# Comment Google utilise-t-il BERT pour comprendre vos recherches?

Date: 2019-10-26 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/bert-dans-la-recherche-google/

**Answer:** Google a annoncé le 25 octobre 2019 que son moteur de recherche utilise désormais BERT, un modèle de langage fondé sur l’architecture Transformer, pour lire chaque requête comme une phrase entière; de petits mots comme *to*, *for* et *no* reçoivent ainsi le poids qui leur revient. Pour le classement, le changement touche environ une recherche sur dix en anglais aux États-Unis, et BERT améliore aussi les extraits optimisés dans de nombreux pays.

Hier, le 25 octobre 2019, Google a annoncé l’un des plus importants changements à son moteur de recherche depuis des années. La recherche utilise maintenant **BERT**, un modèle de langage que des chercheurs de Google ont publié l’an dernier, pour comprendre ce que les gens veulent dire quand ils tapent une requête. Pandu Nayak, Google Fellow et vice-président de la Recherche, parle du plus grand pas en avant en cinq ans et de l’un des plus grands de l’histoire du produit.

Le changement porte sur le sens, pas sur les mots clés. Les anciens systèmes faisaient souvent correspondre les mots de votre requête aux mots des pages Web. BERT lit la requête comme une phrase, en tenant compte des liens entre chaque mot et les autres. C’est surtout important pour les recherches longues, formulées comme dans une conversation, et pour les petits mots qui changent tout.

## Ce que Google a annoncé

Selon le billet de Nayak sur le blogue de Google, l’entreprise traite des milliards de recherches par jour, et environ 15 % d’entre elles sont des requêtes qu’elle n’a jamais vues. Les gens ont aussi tendance à taper ce que Nayak appelle du *keyword-ese* (du jargon de mots clés) : des suites de mots qu’ils croient compréhensibles pour un ordinateur, plutôt que la question qu’ils poseraient à une personne.

Voici ce qui change maintenant :

- **Le classement.** BERT aidera Google à mieux comprendre environ une recherche sur dix en anglais aux États-Unis au moment de choisir les pages à afficher. D’autres langues et d’autres régions suivront avec le temps.
- **Les extraits optimisés.** Ce sont les courts encadrés de réponse en haut de certaines pages de résultats. Google utilise un modèle BERT pour les améliorer dans la vingtaine de pays où ils apparaissent, avec des gains notables en coréen, en hindi et en portugais.
- **Le matériel.** Certains modèles BERT sont si exigeants que, pour la première fois, Google sert des résultats de recherche avec ses plus récentes Cloud TPU, des puces conçues sur mesure pour l’apprentissage automatique.

TechCrunch souligne que la plupart des changements d’algorithme de recherche sont beaucoup plus subtils; un changement qui touche le dixième des recherches est donc très important. Le déploiement a commencé cette semaine, et beaucoup de gens en voient déjà les effets.

## Comment BERT lit une requête

BERT signifie **Bidirectional Encoder Representations from Transformers** (représentations d’encodeur bidirectionnelles à partir de Transformers). Il a été présenté en octobre 2018 dans un article de Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova, de Google AI Language, et Google a publié gratuitement le code et les modèles entraînés.

Un **Transformer** est une architecture de réseau de neurones qui examine chaque mot d’une phrase par rapport à tous les autres en même temps, au lieu de lire strictement de gauche à droite. « Bidirectionnel » signifie que BERT utilise les mots situés des deux côtés de chaque mot pour décider de son sens.

BERT a appris cela en jouant à un jeu de textes à trous sur d’énormes quantités de texte. Pendant l’entraînement, environ 15 % des mots étaient masqués, et le modèle devait les deviner à partir du contexte. Les chercheurs disent s’être inspirés du test de closure, un exercice de lecture classique où les élèves remplissent les trous d’un texte. Pour deviner « rive » dans « elle s’est assise sur la ___ de la rivière et a pêché », il faut les mots qui précèdent et qui suivent le trou. Répéter cet exercice des millions de fois apprend à un modèle énormément de choses sur la façon dont les mots dépendent les uns des autres. Le modèle entraîné peut ensuite subir un **ajustement fin**, un petit entraînement supplémentaire, pour une tâche précise, comme associer des requêtes à des pages utiles.

## Un exemple concret : comment les petits mots changent la réponse

Google a présenté plusieurs requêtes tirées de ses tests. Ce tableau montre ce qui clochait avant et ce que BERT saisit :

| Requête | Ce que faisait l’ancien système | Ce que BERT comprend |
|---|---|---|
| « 2019 brazil traveler to usa need a visa » | Affichait des pages sur des citoyens américains qui voyagent au Brésil | Le mot *to* signifie qu’un Brésilien se rend aux États-Unis |
| « do estheticians stand a lot at work » | Associait *stand* au terme *stand-alone* trouvé sur une page | *Stand* (rester debout) porte sur les exigences physiques du métier |
| Une question sur le stationnement en pente sans bordure de trottoir | Donnait trop de poids à *curb* (bordure) et ignorait *no* | *No* inverse le sens; les résultats doivent donc porter sur les pentes sans bordure |

Dans chaque cas, l’ancienne approche traitait la requête comme un sac de mots séparés. BERT la traite comme une phrase dont l’ordre et les petits mots portent du sens.

Google reconnaît aussi franchement que BERT fait des erreurs. Demandez « what state is south of Nebraska » (quel État se trouve au sud du Nebraska), et BERT désigne une petite localité appelée South Nebraska au lieu de l’État du Kansas.

> **À essayer :** écrivez deux recherches qui utilisent les mêmes mots dans un ordre différent, comme « vols de Montréal à Paris » et « vols de Paris à Montréal ». Lancez-les toutes les deux et comparez les trois premiers résultats. Essayez ensuite une question naturelle qui contient un petit mot crucial, comme « peut-on aller chercher des médicaments pour quelqu’un à la pharmacie », et vérifiez si les résultats tiennent compte des mots « pour quelqu’un ».

## Pourquoi c’est important

Pour les utilisateurs, la promesse est simple : vous pouvez taper davantage comme vous parlez et vous attendre à ce que Google suive. Le conseil de Nayak lui-même est de délaisser un peu le jargon de mots clés et de chercher de façon naturelle.

Pour le domaine de l’IA, c’est l’un des signes les plus clairs à ce jour que la recherche sur les modèles de langage passe des articles scientifiques aux produits utilisés par un nombre immense de personnes. BERT est passé d’un article de recherche à un élément central de la recherche Google en un an environ. Cela montre aussi le prix de cette puissance : Google a eu besoin de nouveau matériel pour faire tourner ces modèles assez vite pour la recherche en direct.

Il y a aussi un aspect multilingue. Google affirme que des modèles qui apprennent à partir de l’anglais, de loin la langue qui compte le plus de contenu sur le Web, peuvent transposer une partie de ces leçons à d’autres langues. Cela aide à comprendre pourquoi les extraits optimisés s’améliorent en même temps dans des langues comme l’hindi et le coréen.

## Devez-vous changer votre façon de chercher ou d’écrire pour Google?

Pour la recherche, le changement joue en votre faveur. Vous n’avez plus besoin de réduire une question à quelques mots clés. Les questions complètes, avec des mots comme *for*, *to*, *without* et *no*, ont maintenant plus de chances d’être comprises, surtout quand elles sont longues et précises. Quand les résultats semblent à côté de la plaque, reformuler en rendant plus clairs les liens entre les mots reste une bonne habitude, puisque Google admet qu’il ne vise pas toujours juste.

Pour les personnes qui publient sur le Web, l’annonce de Google ne mentionne aucune nouvelle étape technique. Ce que BERT récompense, c’est la compréhension de ce qu’une personne cherche vraiment; l’approche sensée consiste donc à écrire clairement pour des lecteurs humains et à répondre directement à de vraies questions. Les pages qui correspondent au sens d’une requête, et pas seulement à ses mots, sont celles que ce changement est conçu pour trouver.

Google dit qu’il étendra BERT au classement dans d’autres langues et d’autres régions avec le temps. Beaucoup s’attendent à voir des modèles de langage semblables apparaître dans d’autres produits qui doivent comprendre la langue de tous les jours.

## Sources

- Understanding searches better than ever before: https://blog.google/products/search/search-language-understanding-bert/
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: https://arxiv.org/abs/1810.04805
- Google brings in BERT to improve its search results: https://techcrunch.com/2019/10/25/google-brings-in-bert-to-improve-its-search-results/