Qu’est-ce que PaLM de Google, et pourquoi un modèle de 540 milliards de paramètres compte-t-il?

Hier, Google Research a présenté PaLM, le Pathways Language Model. Avec 540 milliards de paramètres, il fait environ trois fois la taille du GPT-3 d’OpenAI et figure parmi les plus grands modèles de langage jamais décrits. Google affirme qu’il surpasse les grands modèles précédents sur la plupart des tests essayés, souvent par une large marge.

La taille n’est qu’une partie de l’histoire. PaLM est aussi le premier grand test de Pathways, un nouveau système de Google qui répartit une même tâche d’entraînement sur des milliers de puces. Et l’équipe de recherche rapporte un phénomène intrigant : certaines habiletés ne progressent pas en douceur avec la taille, mais semblent s’activer une fois que le modèle devient assez grand.

Ce que Google a annoncé, et qui l’a conçu

Le lundi 4 avril 2022, deux ingénieurs logiciels de Google Research, Sharan Narang et Aakanksha Chowdhery, ont présenté PaLM sur le Google AI Blog. L’article technique complet, PaLM: Scaling Language Modeling with Pathways, a paru sur arXiv aujourd’hui, le 5 avril. Il nomme Chowdhery en premier parmi 67 auteurs, avec Noam Shazeer, Jacob Devlin et Jason Wei parmi les contributeurs, et Jeff Dean, Slav Petrov et Douglas Eck parmi les conseillers du projet.

Un modèle de langage est un programme entraîné à prédire le mot suivant (plus précisément, le jeton suivant, c’est-à-dire un mot ou un morceau de mot) dans un texte. Ses paramètres sont les nombres internes ajustés pendant l’entraînement; plus il y a de paramètres, plus le modèle a de place pour emmagasiner des régularités. Google a entraîné trois versions pour pouvoir les comparer :

Les trois ont lu les mêmes 780 milliards de jetons de texte, exactement une fois.

Comment il a été entraîné

PaLM est un Transformer dense à décodeur seul. Le « Transformer » est l’architecture de réseau fondée sur l’attention que Google a présentée en 2017; « à décodeur seul » signifie qu’il se contente de poursuivre du texte, comme GPT-3; « dense » signifie que chaque paramètre participe à chaque prédiction, contrairement à certains modèles récents qui n’activent qu’une partie d’eux-mêmes.

Selon l’article, les données d’entraînement se répartissent ainsi : la moitié provient de conversations multilingues sur les médias sociaux, 27 % de pages Web filtrées, 13 % de livres en anglais, 5 % de code tiré de GitHub, 4 % de Wikipédia et 1 % de nouvelles en anglais. Plus de 100 langues y figurent, mais seulement environ 22 % des données ne sont pas en anglais. Google a aussi conçu un vocabulaire qui conserve chaque espace (important pour le code) et découpe les nombres en chiffres isolés : « 123 » devient « 1 », « 2 », « 3 ».

C’est du côté du matériel qu’intervient Pathways. Les TPU (Tensor Processing Units) sont les puces d’IA de Google, regroupées en grandes grappes appelées Pods. PaLM s’est entraîné sur deux Pods TPU v4 à la fois, de 3 072 puces chacun, pour un total de 6 144, ce que Google présente comme la plus grande configuration de TPU utilisée pour un entraînement jusqu’ici. Google indique que les puces ont consacré 57,8 % de leur capacité à des calculs utiles, une efficacité élevée pour une tâche de cette taille.

Ce que PaLM sait faire

La plupart des résultats reposent sur le prompt à quelques exemples (few-shot prompting) : le modèle reçoit dans son prompt une poignée d’exemples résolus, puis une nouvelle question, sans entraînement supplémentaire. Google rapporte que PaLM 540B :

• a battu les records few-shot antérieurs de modèles comme GPT-3, Gopher, Chinchilla et LaMDA sur 28 des 29 tests standards en anglais;
• a obtenu un meilleur résultat que la personne moyenne sur un groupe de 58 tâches de BIG-bench, une nouvelle collection de plus de 150 tests difficiles;
• a résolu 58 % de GSM8K, un ensemble de problèmes écrits de mathématiques de niveau primaire, quand on lui montrait huit exemples qui détaillent le raisonnement étape par étape, devançant de peu le meilleur résultat précédent de 55 %;
• a égalé une version de 12 milliards de paramètres du Codex d’OpenAI sur des tests de programmation, même si seulement 5 % de ses données d’entraînement sont du code.

L’astuce étape par étape s’appelle le raisonnement par étapes (chain of thought) : au lieu de montrer seulement la question et la réponse, chaque exemple passe par les étapes intermédiaires. Voici l’idée en miniature :

Q : Un boulanger fait 4 plaques de 12 muffins et en vend 30. Combien en reste-t-il?
R : 4 plaques de 12, ça fait 48 muffins. 48 moins 30, ça fait 18. La réponse est 18.

Q : Une bibliothèque a 5 tablettes de 20 livres et en prête 37. Combien en reste-t-il?
R :

Un modèle qui a appris la régularité écrit « 5 tablettes de 20, ça fait 100 livres… » avant de donner 63, et cette habitude le rend beaucoup plus exact sur les problèmes à plusieurs étapes.

L’article montre aussi PaLM en train d’expliquer des blagues qu’il ne pouvait pas avoir vues auparavant. Devant une blague sur quelqu’un qui s’excite en sentant de la nourriture et se met en alerte quand la sonnette retentit, il a compris que la blague parlait des chiens.

Pourquoi c’est important

PaLM montre de façon convaincante qu’agrandir les modèles de langage rapporte encore. Google affirme que les gains sur BIG-bench suivent une ligne ascendante régulière à mesure que la taille augmente, sans aucun signe de plafonnement pour l’instant. Sur environ le quart des tâches de BIG-bench, le saut de 62 à 540 milliards de paramètres a été beaucoup plus grand que ce que prédisaient les petits modèles. Si cette tendance se maintient, les chercheurs ne peuvent pas prévoir entièrement ce dont un modèle plus grand sera capable en testant de plus petits modèles.

PaLM montre aussi que le pari de Google sur son infrastructure fonctionne. Pathways doit permettre à un seul modèle d’apprendre efficacement de nombreuses tâches sur un très grand nombre de puces, et PaLM en est la première utilisation à grande échelle.

Google accompagne ces résultats de mises en garde. L’article comprend une fiche technique du modèle (model card, un résumé normalisé de l’usage prévu d’un modèle et de ses limites) et une fiche de données (datasheet) pour les données d’entraînement, ainsi que des tests sur les biais, les contenus toxiques et le texte mémorisé. Il prévient que, comme d’autres modèles entraînés sur du texte du Web, PaLM peut refléter des stéréotypes nuisibles, et que quiconque s’en sert comme base devrait vérifier ces risques dans son propre contexte.

Pouvez-vous utiliser PaLM vous-même?

Pas pour le moment. Google a publié le billet de blogue, l’article et des exemples de résultats, mais il n’a pas rendu le modèle public, ni offert de démonstration publique, ni ouvert d’interface pour les développeurs. La fiche technique du modèle décrit la recherche comme sa principale raison d’être, indique que Google l’utilise à l’interne pour des recherches sur la génération de texte et de code, et recommande de ne bâtir aucun produit sur lui sans d’abord en évaluer la sécurité et l’équité.

Ce que vous pouvez faire dès aujourd’hui, c’est lire les exemples de l’article, qui montrent les prompts et les réponses du modèle, et pratiquer les techniques sur lesquelles il s’appuie. Le prompt à quelques exemples et le raisonnement par étapes fonctionnent avec d’autres grands modèles de langage déjà accessibles au public; l’exemple résolu ci-dessus est donc une bonne façon de voir pourquoi cette recherche attire autant l’attention.