# Que veut dire « ouvert » pour un modèle de langage?

Date: 2022-07-22 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/modele-de-langage-ouvert/

**Answer:** Un modèle de langage est « ouvert » dans la mesure où des personnes de l’extérieur peuvent obtenir ses poids (les nombres appris qui forment le modèle), son code et les détails de son entraînement, et les utiliser en vertu d’une licence qui le permet. BLOOM et OPT sont ouverts en ce sens, même si chaque licence fixe des règles, alors que GPT-3 ne s’utilise que par l’API payante d’OpenAI.

Deux lancements, ce printemps et cet été, ont placé le mot « ouvert » au cœur des discussions sur les grands modèles de langage. En mai, Meta AI a partagé OPT-175B, un modèle de 175 milliards de paramètres, la même taille que GPT-3. Ce mois-ci, la collaboration de recherche BigScience a publié BLOOM, un modèle de 176 milliards de paramètres entraîné à écrire dans 46 langues humaines et 13 langages de programmation. Les deux rendent leurs poids accessibles à des personnes extérieures au groupe qui les a entraînés, ce que GPT-3 ne fait pas.

« Ouvert » ne veut pourtant pas dire une seule chose. Pour comprendre ce que ces lancements offrent, et ce qu’ils n’offrent pas, il est utile de regarder les pièces qui composent un modèle.

## Les parties d’un modèle qui peuvent être partagées

Un modèle de langage entraîné est surtout un très gros fichier de nombres appelés **poids** ou paramètres. Pendant l’entraînement, ces nombres sont ajustés encore et encore jusqu’à ce que le modèle devienne bon pour prédire le mot suivant. Si vous avez les poids et le code qui les fait tourner, vous avez le modèle lui-même : vous pouvez l’exécuter sur vos propres ordinateurs, étudier son comportement interne et poursuivre son entraînement sur vos propres données (c’est ce qu’on appelle l’ajustement fin).

Autour des poids se trouvent d’autres pièces qui peuvent être partagées, ou non :

| Pièce | Ce qu’elle vous apprend ou vous permet de faire |
|---|---|
| Poids | Exécuter, examiner et ajuster le modèle vous-même |
| Code | Reproduire l’entraînement ou exécuter le modèle efficacement |
| Détails sur les données d’entraînement | Savoir à partir de quoi le modèle a appris, et ses angles morts probables |
| Documentation | Comprendre les usages prévus, les risques et les résultats des tests |
| Licence | Savoir ce que vous avez légalement le droit de faire avec tout ce qui précède |

Pour la plupart des gens, GPT-3 se situe à l’extrémité fermée. OpenAI ne l’offre que par son API : vous envoyez du texte et recevez du texte, mais les poids restent sur les serveurs d’OpenAI. Au lancement de l’API en 2020, OpenAI a expliqué ce choix : vendre l’accès finance sa recherche, le modèle est trop gros et trop coûteux à exécuter pour la plupart des organisations, et une API permet à l’entreprise de couper l’accès en cas d’abus.

## À quel point OPT et BLOOM sont-ils ouverts?

**OPT-175B**, de Meta AI, est livré avec le modèle préentraîné et le code ayant servi à l’entraîner et à l’exécuter, une première à cette échelle selon Meta. Meta a aussi publié ses notes de développement et le journal de bord de l’entraînement. Le modèle complet de 175 milliards de paramètres est toutefois publié sous une licence non commerciale destinée à la recherche, et l’accès est accordé sur demande aux laboratoires de recherche universitaires, gouvernementaux, de la société civile et de l’industrie. Des versions plus petites, de 125 millions à 30 milliards de paramètres, sont entièrement publiées et téléchargeables par n’importe qui.

**BLOOM**, de BigScience, une collaboration financée par Hugging Face, le gouvernement français et des organisations partenaires, se télécharge à partir du Hugging Face Hub. Il est accompagné d’une fiche technique du modèle (*model card*) détaillée qui décrit ses données d’entraînement (1,6 téraoctet de texte), son entraînement sur Jean Zay, un superordinateur public en France, ses usages prévus et ses risques connus. Sa licence, la BigScience RAIL License, accorde l’accès, mais comprend une liste de restrictions d’usage; RAIL signifie *Responsible AI License* (licence d’IA responsable). Des usages comme la production de désinformation, le harcèlement ou l’usurpation de l’identité de personnes sans leur consentement y sont nommés comme des abus.

Les deux sont donc « ouverts » au sens où l’on peut obtenir les poids et la documentation, et les deux sont assortis de conditions. Une bonne habitude consiste à dire exactement ce qui est ouvert (poids, code, données, conditions de licence) plutôt que de se fier au mot seul.

## Que pouvez-vous faire avec BLOOM ou OPT?

Pour la plupart des gens, le plus simple est d’essayer BLOOM dans un navigateur. Sa page sur le Hugging Face Hub comporte une petite zone de test, appelée widget d’inférence, où vous pouvez taper un prompt et voir le modèle le prolonger.

1. Allez à huggingface.co/bigscience/bloom.
2. Lisez le haut de la fiche technique : ce qu’est BLOOM, sa licence et ses usages prévus.
3. Dans le widget à droite, essayez l’un des exemples de prompts fournis par ses auteurs, ou tapez le vôtre. BLOOM prolonge du texte au lieu de suivre des consignes : commencez donc une phrase qu’il terminera.

```prompt
Il était une fois, dans un petit village au bord d’un lac,
```

4. Cliquez sur **Compute** et lisez la suite. Essayez ensuite le même début dans une autre langue que vous connaissez et comparez la qualité.

Faire tourner BLOOM vous-même, c’est une autre histoire. Ses poids occupent à eux seuls 329 gigaoctets, et le modèle complet a besoin de processeurs graphiques (GPU) puissants pour fonctionner à une vitesse raisonnable. Meta indique que son code peut faire tourner OPT-175B sur 16 GPU NVIDIA V100, ce qui dépasse encore de loin un ordinateur personnel. La plupart des particuliers utiliseront le widget, un service hébergé ou l’un des plus petits modèles OPT, qui demandent beaucoup moins de mémoire.

> **À essayer :** donnez à BLOOM le même début d’histoire en anglais, puis en français ou en espagnol. Notez où la suite semble naturelle et où elle dérive, et vérifiez ce que la fiche technique dit de la part de chaque langue dans ses données d’entraînement.

Pour les chercheurs et les créateurs, les poids ouverts rendent possibles de nouveaux types de travaux : mesurer directement les biais, étudier comment le modèle représente le langage, ajuster une version plus petite pour une tâche spécialisée ou comparer des modèles entraînés de différentes façons. La fiche technique de BLOOM précise que son but est de rendre possible une recherche ouverte et publique sur les grands modèles de langage, et elle exclut les usages à fort enjeu, comme les décisions médicales, juridiques ou financières. L’accès ouvert élargit le cercle de ceux qui peuvent faire ce travail; il ne change rien au soin avec lequel il faut vérifier les résultats.

## Sources

- BLOOM model card (version 1.3, revision of 21 July 2022): https://huggingface.co/bigscience/bloom/blob/483e9e2e0489e2da4222246222f92a63689c33c9/README.md
- Democratizing access to large-scale language models with OPT-175B: https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
- OpenAI API: https://openai.com/index/openai-api/