# Qu’est-ce que LLaMA, le nouveau modèle de langage de Meta pour les chercheurs?

Date: 2023-02-25 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-llama-de-meta/

**Answer:** LLaMA (Large Language Model Meta AI) est une famille de quatre modèles de langage, de 7 à 65 milliards de paramètres, que Meta a publiée le 24 février 2023 pour la recherche seulement. Selon Meta, les plus petits modèles égalent ou surpassent des systèmes beaucoup plus grands à de nombreux tests; des chercheurs sans énormes budgets de calcul peuvent enfin étudier de près un grand modèle de langage moderne.

Alors que l’essentiel de l’attention en IA ce mois-ci est allé aux robots conversationnels d’OpenAI, de Microsoft et de Google, Meta a pris un autre chemin hier, le 24 février 2023. Sa division de recherche, Meta AI, a publié LLaMA, abréviation de *Large Language Model Meta AI*. Ce n’est pas un robot conversationnel avec lequel vous pouvez discuter. C’est un ensemble de modèles destinés aux chercheurs qui veulent étudier le fonctionnement des grands modèles de langage et trouver comment corriger leurs problèmes.

Mark Zuckerberg a annoncé la publication dans un message sur Facebook, et Meta la présente comme un élément de son engagement envers la science ouverte. Les modèles sont offerts sous une licence non commerciale, et l’accès est accordé au cas par cas.

## Ce qu’est LLaMA

Un **grand modèle de langage** est un programme entraîné à prédire le mot suivant dans un texte. Donnez-lui une suite de mots, et il prédit ce qui vient ensuite, encore et encore, pour produire des phrases. LLaMA fonctionne exactement ainsi. Sa « taille » se mesure en **paramètres**, les nombres internes que le modèle ajuste pendant l’entraînement; plus de paramètres signifie habituellement plus de capacité, mais aussi plus de puissance de calcul pour l’entraîner et le faire fonctionner.

LLaMA est un **modèle de fondation** : un modèle général entraîné sur une grande quantité de texte non étiqueté, que d’autres peuvent ensuite soumettre à un ajustement fin (un entraînement supplémentaire) pour des tâches précises comme répondre à des questions ou résumer. Meta le publie en quatre tailles, accompagné d’une fiche technique du modèle (*model card*), un document qui décrit comment il a été construit.

| Modèle | Taille | Ce que rapportent Meta et The Verge |
|---|---|---|
| LLaMA 7B | 7 milliards de paramètres | La plus petite version; entraînée sur mille milliards de jetons |
| LLaMA 13B | 13 milliards de paramètres | L’article de Meta affirme qu’il surpasse GPT-3 à la plupart des bancs d’essai; peut fonctionner sur un seul GPU de centre de données Nvidia V100 |
| LLaMA 33B | 33 milliards de paramètres | Entraîné sur 1 400 milliards de jetons |
| LLaMA 65B | 65 milliards de paramètres | Entraîné sur 1 400 milliards de jetons; décrit comme concurrentiel avec Chinchilla-70B de DeepMind et PaLM-540B de Google |

Un **jeton** est un morceau de mot; les modèles lisent le texte en jetons plutôt qu’en mots entiers. Meta a choisi des textes d’entraînement dans les 20 langues les plus parlées, en privilégiant celles qui s’écrivent avec les alphabets latin et cyrillique.

## Comment des modèles plus petits peuvent rivaliser

L’idée maîtresse derrière LLaMA est d’entraîner des modèles plus petits sur beaucoup plus de texte. GPT-3, qu’OpenAI a décrit dans un article de 2020, compte 175 milliards de paramètres. Si les affirmations de Meta se confirment, LLaMA-13B le surpasse à la plupart des tests avec moins du dixième de sa taille.

Pourquoi est-ce important? La taille d’un modèle détermine le coût de son fonctionnement. Chaque réponse exige que l’ordinateur passe par tous ces paramètres. Un modèle qui tient sur un seul processeur graphique (GPU), le type de puce utilisé pour l’IA, peut être étudié par un laboratoire universitaire. Un modèle qui en exige une pleine salle ne peut être étudié que par une poignée de grandes entreprises.

Une analogie : imaginez deux élèves qui se préparent à un examen. L’une a une mémoire énorme, mais n’a survolé le manuel qu’une fois. L’autre a une mémoire plus modeste, mais a lu le manuel plusieurs fois, attentivement. La seconde peut réussir tout aussi bien, et elle est bien plus facile à inviter dans un groupe d’étude. Meta fait valoir que des modèles plus petits, entraînés sur plus de jetons, sont aussi plus faciles à réentraîner et à soumettre à un ajustement fin.

## Pourquoi c’est important

Meta pointe un vrai manque. Les grands modèles de langage montrent de nouvelles capacités, de la rédaction de textes créatifs à la réponse à des questions de compréhension de lecture, mais l’accès complet pour la recherche reste limité parce qu’ils coûtent si cher à entraîner et à faire fonctionner. Les chercheurs externes ne peuvent pas facilement examiner pourquoi ils fonctionnent ni s’attaquer à des problèmes connus comme les biais, les contenus toxiques et l’**hallucination**, la tendance d’un modèle à inventer de l’information.

En partageant le code de LLaMA et en publiant des tests sur les biais et la toxicité des modèles, Meta espère que d’autres trouveront de nouvelles façons de réduire ces problèmes. L’entreprise dit aussi vouloir que les universitaires, la société civile, les décideurs publics et l’industrie travaillent ensemble à des lignes directrices pour des grands modèles de langage responsables.

The Verge souligne que les efforts publics antérieurs de Meta ont été mal accueillis. Son robot conversationnel BlenderBot a été critiqué pour sa faiblesse, et Galactica, un modèle conçu pour rédiger des textes scientifiques, a été retiré après trois jours parce qu’il produisait des absurdités scientifiques. La publication de LLaMA, réservée à la recherche, est une approche plus prudente.

> **À essayer :** à l’aide du tableau ci-dessus, écrivez deux phrases pour expliquer à un ami pourquoi un modèle de 13 milliards de paramètres qui égale un modèle de 175 milliards pourrait compter pour un petit laboratoire universitaire. Notez ensuite un risque lié au fait de rendre des modèles puissants plus faciles à faire fonctionner.

## Qui peut obtenir LLaMA, et que peuvent en faire les chercheurs?

Meta ne met pas LLaMA en téléchargement libre pour tout le monde. Pour prévenir les abus, elle publie les modèles sous une licence qui permet l’usage en recherche, mais pas l’usage commercial. L’accès est décidé au cas par cas et est ouvert aux chercheurs universitaires, au personnel d’organismes gouvernementaux et de groupes de la société civile, ainsi qu’aux laboratoires de recherche de l’industrie partout dans le monde. Le lien pour faire une demande figure dans l’article de recherche de Meta.

Les chercheurs dont la demande est acceptée peuvent faire fonctionner les modèles sur leur propre matériel, les tester et les soumettre à un ajustement fin pour leurs expériences, ce qui est impossible avec des modèles offerts seulement par le site Web d’une entreprise ou par une API payante. Comme LLaMA est un modèle de fondation plutôt qu’un robot conversationnel fini, il leur offre une base souple pour étudier de nombreuses tâches.

Pour tous les autres, il n’y a encore rien à installer, et les entreprises ne peuvent pas bâtir de produits avec ce modèle en vertu de cette licence. Ce qui vaut la peine d’être suivi, c’est ce que les chercheurs rapporteront au cours des prochaines semaines : si les résultats aux bancs d’essai se confirment, et si un accès plus facile à un modèle performant mène à des progrès sur les biais, la toxicité et l’hallucination.

## Sources

- Introducing LLaMA: A foundational, 65-billion-parameter large language model: https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
- Meta has a new machine learning language model to remind you it does AI too: https://www.theverge.com/2023/2/24/23613512/meta-llama-ai-research-large-language-model
- Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165