Qu’est-ce que LaMDA de Google, et en quoi diffère-t-il des autres robots conversationnels?

LaMDA, pour Language Model for Dialogue Applications, est un modèle de langage expérimental de Google dévoilé le 18 mai 2021 à Google I/O, entraîné sur des dialogues pour tenir des conversations ouvertes qui passent naturellement d’un sujet à l’autre. Google juge ses réponses selon qu’elles ont du sens et qu’elles sont précises, et travaille aussi à les rendre intéressantes et exactes sur le plan des faits, mais le qualifie de recherche à un stade précoce, encore intégrée à aucun produit.

Qu’est-ce que LaMDA de Google, et en quoi diffère-t-il des autres…

Hier, le 18 mai 2021, à sa conférence annuelle des développeurs I/O, Google a présenté LaMDA, un modèle de recherche conçu pour la conversation. Dans une courte démonstration, le modèle a parlé dans la peau de la planète naine Pluton, puis dans celle d’un avion de papier, en répondant aux questions sans sortir de son personnage.

La plupart des robots conversationnels actuels suivent des parcours étroits et scénarisés : demandez-leur le solde de votre compte ou la météo et ils s’en tirent; sortez du sujet et ils calent. LaMDA vise le genre de conversation que les gens ont vraiment, où une discussion sur une série télé peut dériver vers le pays où elle a été tournée et finir en débat sur la cuisine de ce pays.

Ce que Google a montré à I/O

Le PDG de Google, Sundar Pichai, a présenté LaMDA pendant la conférence d’ouverture avec deux vidéos de courtes conversations. Dans la première, le modèle jouait Pluton. Selon The Verge, il a évoqué des faits réels, comme la sonde New Horizons qui a survolé Pluton en 2015. (Pichai et le personnage de Pluton l’ont tous deux qualifiée de planète; les astronomes la classent comme planète naine.) Dans la deuxième, LaMDA répondait comme un avion de papier.

The Verge note que le modèle n’avait apparemment reçu aucun entraînement particulier pour l’un ou l’autre de ces rôles. Pichai a qualifié les conversations d’impressionnantes, mais a pris soin d’ajouter une mise en garde : « Mais c’est encore de la recherche à un stade précoce, alors il ne réussit pas tout. »

Le même jour, Google a publié un billet de blogue d’Eli Collins, vice-président à la gestion des produits, et de Zoubin Ghahramani, directeur principal de la recherche, qui explique le fonctionnement de LaMDA.

Comment LaMDA fonctionne

Le nom signifie Language Model for Dialogue Applications (modèle de langage pour les applications de dialogue). Un modèle de langage est un programme entraîné à prédire quels mots viennent ensuite dans un texte. Comme BERT de Google et GPT-3 d’OpenAI, LaMDA repose sur le Transformer, une architecture de réseau de neurones que des chercheurs de Google ont inventée et publiée en 2017. Un Transformer lit un passage entier, détermine comment ses mots sont liés entre eux et s’en sert pour prédire la suite.

La différence clé, c’est le matériel d’entraînement. La plupart des modèles de langage apprennent à partir de textes généraux comme des pages Web et des livres. LaMDA a été entraîné sur des dialogues; il a donc assimilé les régularités des échanges de conversation. Google affirme qu’il s’appuie sur ses recherches de 2020 montrant que des modèles Transformer entraînés sur des conversations peuvent apprendre à parler de presque n’importe quoi. Après cet entraînement principal, Google soumet LaMDA à un ajustement fin, c’est-à-dire un entraînement supplémentaire et ciblé pour améliorer la qualité de ses réponses.

Un exemple concret : ce qui fait une bonne réponse

Google évalue les réponses de LaMDA selon deux qualités principales. La pertinence (sensibleness) demande si une réponse a du sens dans le contexte. La précision (specificity) demande si elle se rapporte clairement à ce qui vient d’être dit. L’exemple de Google lui-même commence par une personne qui dit : « Je viens de commencer des cours de guitare. » Voici comment cette réponse, l’exemple pertinent et précis de Google, se compare à deux réponses plus faibles du genre que Google décrit :

Réponse	Pertinente?	Précise?	Pourquoi
« J’aime les tortues. »	Non	Non	Elle ignore ce qui a été dit
« C’est bien. »	Oui	Non	Elle convient à presque n’importe quelle affirmation, donc elle ne dit rien
« Comme c’est excitant! Ma mère a une Martin ancienne dont elle adore jouer. »	Oui	Oui	Elle répond à propos des guitares en particulier et relance la conversation

C’est la rangée du milieu qui est le piège. Les réponses génériques comme « c’est bien » ou « je ne sais pas » sont toujours sans risque, ce qui les rend tentantes pour un robot conversationnel, mais elles tuent la conversation. LaMDA est entraîné à les éviter.

Google explore aussi deux autres qualités. L’intérêt (interestingness) désigne des réponses perspicaces, inattendues ou spirituelles. La factualité (factuality) consiste à s’en tenir aux faits, un point sur lequel Google admet que les modèles de langage ont souvent du mal. L’entreprise dit vouloir des réponses non seulement captivantes, mais exactes.

À essayer : choisissez une phrase d’ouverture ordinaire, comme « Je reviens d’une fin de semaine de camping. » Écrivez trois réponses : une qui n’a aucun sens, une qui est pertinente mais générique, et une qui est pertinente et précise. Écrivez-en ensuite une quatrième qui est aussi intéressante. Remarquez à quel point chaque étape est plus difficile; c’est exactement l’échelle que Google essaie d’apprendre à LaMDA à gravir.

Pourquoi c’est important, et les inquiétudes

Pour Google, une meilleure conversation est liée à son activité principale. Pichai a souligné qu’une grande partie du travail de l’entreprise en IA consiste à trouver de l’information, de la traduction de langues à la compréhension de ce que les gens veulent dire quand ils font une recherche. Si un ordinateur peut suivre une conversation naturelle et vagabonde, chercher sur le Web ou utiliser un téléphone pourrait ressembler davantage à une discussion avec une personne bien informée. Google affirme prévoir d’intégrer des capacités conversationnelles à davantage de ses produits.

Google insiste aussi sur les risques. Son billet de blogue note que les modèles entraînés sur le langage peuvent absorber des biais, reproduire des propos haineux ou répéter de l’information trompeuse, et que même un modèle entraîné avec soin peut être mal utilisé. L’entreprise affirme que LaMDA a été examiné à chaque étape selon ses principes en matière d’IA (AI Principles), et que réduire ces risques au minimum est sa priorité absolue.

Certains observateurs accueillent ce message avec scepticisme. The Verge souligne que l’accent mis sur l’IA responsable survient après que Google a congédié Timnit Gebru et Margaret Mitchell, deux de ses chercheuses les plus connues en éthique de l’IA, dans un conflit lié à un article sur les dangers des grands modèles de langage, et que cela n’a pas été mentionné sur scène.

Quand pourrez-vous parler à LaMDA?

Pas encore. LaMDA est un projet de recherche, et Google n’a annoncé ni version publique, ni application, ni date. Son billet de blogue indique que les premiers résultats sont encourageants et que l’entreprise prévoit d’en dire plus bientôt.

La voie la plus probable, d’après ce que Google a dit, est que les capacités de LaMDA apparaîtront dans des produits existants plutôt que sous la forme d’un robot conversationnel autonome. The Verge rapporte que Google y voit un moyen de rendre ses assistants conversationnels plus naturels à l’avenir. Avant cela, Google dit vouloir améliorer l’exactitude des faits et continuer de tester les biais et les mauvais usages.

En attendant, la leçon utile pour toute personne qui conçoit ou utilise des robots conversationnels, c’est l’idée d’évaluation derrière LaMDA. Quand vous jugez n’importe quel interlocuteur d’IA, posez les mêmes questions que Google : cette réponse a-t-elle du sens? Est-elle précise par rapport à ce que j’ai dit? Est-elle intéressante? Et est-elle vraie?