# Qu’est-ce qu’un grand modèle de langage, et pourquoi la taille compte-t-elle?

Date: 2021-02-15 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/grand-modele-de-langage-taille/

**Answer:** Un grand modèle de langage est un réseau de neurones entraîné sur une énorme quantité de texte à prédire le mot suivant, avec des milliards de nombres ajustables appelés paramètres. La taille compte parce que la recherche montre que plus de paramètres, plus de données et plus de puissance de calcul réduisent l’erreur du modèle de façon régulière et prévisible, et que les plus grands modèles peuvent apprendre de nouvelles tâches à partir de quelques exemples.

Un modèle de langage est un programme qui a appris à deviner le mot suivant dans un texte. Donnez-lui « Le chat s’est couché sur le » et il attribue un score élevé à « tapis » ou à « plancher », et un score faible à « éléphant ». Il apprend ces scores en lisant du texte et en s’ajustant chaque fois qu’il se trompe. Un *grand* modèle de langage fait la même chose, mais à une échelle énorme : plus de réglages internes, plus de texte à lire et beaucoup plus de temps de calcul.

Le mot « grand » est devenu une étiquette pratique pour des modèles comme GPT-2 et GPT-3 d’OpenAI. Ce n’est pas un seuil fixe. Ce qui compte comme grand ne cesse de changer, parce que chaque nouveau modèle tend à être bien des fois plus gros que le précédent.

## Trois façons de mesurer « grand »

Les chercheurs décrivent habituellement la taille de trois façons.

- **Les paramètres.** Ce sont les nombres à l’intérieur du réseau qui sont ajustés pendant l’entraînement. Vous pouvez les imaginer comme des millions ou des milliards de minuscules boutons de réglage. Ensemble, ils stockent tout ce que le modèle a appris sur les mots qui suivent d’autres mots.
- **Les données d’entraînement.** C’est la quantité de texte que lit le modèle, souvent comptée en jetons. Un jeton est un mot ou une partie de mot.
- **Le calcul.** C’est la quantité totale de calculs utilisée pour l’entraînement. Elle augmente à la fois avec le nombre de paramètres et avec la quantité de données.

Voici comment se comparent GPT-2 et GPT-3, selon les chiffres de leurs articles :

| | GPT-2 (2019) | GPT-3 (2020) |
|---|---|---|
| Paramètres, plus grand modèle | environ 1,5 milliard | 175 milliards |
| Couches | 48 | 96 |
| Fenêtre de contexte (jetons qu’il peut lire d’un coup) | 1 024 | 2 048 |
| Texte d’entraînement | WebText, environ 40 Go tirés de 8 millions de pages Web | 300 milliards de jetons tirés de Common Crawl filtré, de WebText2, de deux collections de livres et de Wikipédia |
| Calcul d’entraînement | des dizaines de pétaflop/s-jours | plusieurs milliers de pétaflop/s-jours |

Un pétaflop/s-jour correspond au travail d’un ordinateur qui effectue un million de milliards d’opérations par seconde pendant une journée entière. Le saut de quelques dizaines à quelques milliers montre que GPT-3 n’est pas seulement un peu plus gros. Il appartient à une tout autre échelle.

## Ce que la taille supplémentaire apporte

Les plus gros modèles réussissent mieux la tâche de base, prédire du texte, mais le changement le plus frappant se voit dans ce qu’ils peuvent faire sans nouvel entraînement. L’article sur GPT-3 a testé huit tailles de modèle, de 125 millions à 175 milliards de paramètres, sur des dizaines de tâches. Dans bon nombre d’entre elles, l’écart entre ne donner aucun exemple au modèle et lui en donner quelques-uns s’est creusé à mesure que les modèles grossissaient. Autrement dit, le plus grand modèle tirait le meilleur parti des exemples placés dans son prompt. Les auteurs décrivent cela comme le fait que les grands modèles utilisent plus efficacement l’information de leur contexte.

La taille a aussi des coûts. Un modèle de 175 milliards de paramètres est trop gros pour que la plupart des organisations le fassent tourner, ce qui explique en partie pourquoi OpenAI n’offre GPT-3 que par son API. L’entraînement consomme beaucoup d’énergie. Et plus de données tirées du Web signifie plus d’erreurs et de stéréotypes du Web.

## Un exemple concret : lire la fiche d’un modèle pour sa taille

Quand vous découvrez un nouveau modèle de langage, vous pouvez le situer sur l’échelle des tailles avec trois questions. Essayez-les sur la plus petite version de GPT-2, qui compte 117 millions de paramètres.

| Question | GPT-2 petit | Ce que cela vous apprend |
|---|---|---|
| Combien de paramètres? | 117 millions | Plus de mille fois plus petit que GPT-3 |
| Combien de texte a-t-il lu? | WebText, le même ensemble que le GPT-2 complet | Les données seules ne l’ont pas rendu aussi performant |
| Quelle longueur de contexte? | 1 024 jetons | Des prompts plus courts, moins d’exemples possibles |

C’est la rangée du milieu qui est intéressante. Les quatre tailles de GPT-2 ont toutes été entraînées sur les mêmes données WebText, et les plus grandes versions ont mieux réussi les tâches testées dans l’article. Même texte, plus de paramètres, meilleurs résultats. C’est exactement ce phénomène que les chercheurs ont voulu mesurer.

> **À essayer :** choisissez n’importe quel modèle dont vous avez entendu parler ce mois-ci et remplissez pour lui les trois rangées ci-dessus. Si un chiffre manque dans son article ou son annonce, écrivez « non précisé » plutôt que de deviner. Vous verrez vite à quel point la taille fait souvent la manchette.

## Que sont les lois d’échelle?

Une loi d’échelle est une règle simple qui prédit la performance d’un modèle à partir de sa taille. En janvier 2020, une équipe d’OpenAI dirigée par Jared Kaplan et Sam McCandlish a publié *Scaling Laws for Neural Language Models*, qui a mesuré cela avec soin sur de nombreux modèles Transformer. Elle a constaté que l’erreur du modèle sur un texte de test diminue selon une loi de puissance pour chacune des trois mesures de taille : paramètres, données et calcul. Une loi de puissance signifie que chaque fois qu’on multiplie la taille par le même facteur, l’erreur baisse d’une proportion constante. Sur une échelle logarithmique, la tendance devient une ligne droite, et elle s’est maintenue sur plus de six ordres de grandeur.

L’article rapporte quelques constats pratiques. La forme du réseau, par exemple sa profondeur ou sa largeur, compte beaucoup moins que sa taille globale. Faire grossir seulement le modèle ou seulement les données mène à des rendements décroissants : les deux doivent donc croître ensemble; selon l’estimation des auteurs, un modèle huit fois plus gros n’a besoin que d’environ cinq fois plus de données. Les plus gros modèles apprennent aussi davantage de chaque exemple. Avec un budget fixe, le choix le plus efficace consiste à entraîner un très grand modèle et à s’arrêter avant qu’il ait complètement fini d’apprendre.

Ces constats ont façonné GPT-3 lui-même. Son article indique qu’il a utilisé l’analyse des lois d’échelle pour entraîner des modèles beaucoup plus grands sur moins de jetons que ce qui était courant. Les lois d’échelle ne promettent pas que plus gros est toujours meilleur en tout, et les auteurs notent que la tendance devra finir par plafonner. Mais pour l’instant, elles donnent aux chercheurs quelque chose de rare : un moyen de prédire, avant de dépenser des mois de temps de calcul, à peu près dans quelle mesure un modèle plus grand s’améliorera.

## Sources

- Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165
- Scaling Laws for Neural Language Models: https://arxiv.org/abs/2001.08361
- Language Models are Unsupervised Multitask Learners: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf