# Qu’est-ce que Qwen-7B, et pourquoi Alibaba a-t-elle offert son modèle gratuitement?

Date: 2023-08-04 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-qwen-7b/

**Answer:** Qwen-7B est un modèle de langage de 7 milliards de paramètres d’Alibaba Cloud, publié le 3 août 2023 avec une version conversationnelle, Qwen-7B-Chat, sous forme de poids téléchargeables que chercheurs et entreprises peuvent utiliser gratuitement. C’est la première fois qu’une grande entreprise technologique chinoise ouvre ainsi son grand modèle de langage, ce qui place un modèle bilingue chinois-anglais performant dans le même espace ouvert que Llama 2 de Meta.

Hier, jeudi 3 août, la division d’infonuagique d’Alibaba a publié deux modèles de langage que tout le monde peut télécharger : **Qwen-7B** et **Qwen-7B-Chat**. Les deux sont de petits membres de Tongyi Qianwen, la famille de grands modèles de langage qu’Alibaba Cloud a annoncée en avril. « Qwen » est simplement une forme abrégée de ce nom.

Reuters décrit cette publication comme la première fois qu’une grande entreprise technologique chinoise rend son grand modèle de langage accessible ouvertement. Elle survient deux semaines après que Meta a fait quelque chose de semblable avec Llama 2, et elle donne aux développeurs un nouveau choix, surtout à ceux qui travaillent en chinois.

## Ce qui a été publié, et où

Alibaba Cloud, dont le siège est à Hangzhou, a déposé les fichiers sur deux sites de partage de modèles à la fois : ModelScope, sa propre plateforme, et Hugging Face, la plateforme internationale la plus utilisée. Un dépôt GitHub contient les instructions, du code d’exemple et un lien vers une note technique qui décrit l’entraînement.

Deux modèles sont sortis ensemble :

- **Qwen-7B** est le modèle de base. Il a été entraîné seulement à prédire le morceau de texte suivant; il excelle donc à poursuivre ce que vous lui donnez.
- **Qwen-7B-Chat** part du modèle de base et y ajoute un entraînement d’alignement, des leçons supplémentaires qui lui apprennent à suivre des consignes et à tenir une conversation comme un assistant.

Alibaba affirme que des versions plus grandes de Tongyi Qianwen existent, mais qu’elles ne sont pas publiées, et elle n’a pas dit quelle est la taille de son plus grand modèle. Selon Reuters, l’entreprise présente les deux petits modèles comme un moyen pour les petites et moyennes entreprises de commencer à utiliser l’IA.

## Comment fonctionne Qwen-7B

Comme ChatGPT et Llama 2, Qwen-7B est un **Transformer**, l’architecture de réseau derrière presque tous les modèles de langage récents. Le « 7B » indique sa taille : environ 7 milliards de **paramètres**, les nombres ajustables que le modèle règle pendant son entraînement. À titre de comparaison, le plus grand modèle Llama 2 en compte 70 milliards.

Quelques détails tirés de la documentation du projet :

| Détail | Qwen-7B |
|---|---|
| Données d’entraînement | Plus de 2 200 milliards de jetons de textes Web, de livres et de code, généraux et spécialisés |
| Vocabulaire | Plus de 150 000 jetons, choisis pour traiter efficacement de nombreuses langues |
| Longueur de contexte | Environ 8 000 jetons (la quantité de texte qu’il peut prendre en compte à la fois) |
| Outils | La version conversationnelle est entraînée à appeler des outils externes, comme des API et des bases de données |

Un **jeton** est un morceau de texte, souvent un mot entier ou une partie de mot. Un vocabulaire plus grand signifie que les mots courants en chinois et dans d’autres langues ont plus de chances d’être un seul jeton, ce qui rend le modèle plus rapide et moins coûteux à faire tourner dans ces langues.

L’entraînement aux outils mérite qu’on s’y attarde. Qwen-7B-Chat a appris à partir d’exemples où il fallait choisir un outil, remplir ses entrées et relire le résultat. Cela en fait un candidat pour les **agents**, des programmes dans lesquels le modèle décide de la prochaine action à faire, comme lancer une recherche ou un calcul.

## Comment il se compare

L’équipe publie des résultats à des tests courants. Ce sont les chiffres des développeurs eux-mêmes; considérez-les comme des affirmations à vérifier, pas comme des verdicts définitifs.

| Test (ce qu’il mesure) | LLaMA 2-7B | Qwen-7B |
|---|---|---|
| MMLU (culture générale, nombreuses matières) | 45,3 | 56,7 |
| GSM8K (problèmes écrits de mathématiques du primaire) | 14,6 | 51,6 |
| HumanEval (écrire de petits programmes Python) | 12,8 | 24,4 |

C-Eval, un banc d’essai fondé sur des examens en chinois, attribue 59,6 à Qwen-7B. L’équipe affirme que son modèle surpasse aussi plusieurs modèles d’environ 13 milliards de paramètres, presque deux fois sa taille.

Il y a un avantage pratique pour les personnes dont le matériel est modeste. Grâce à la **quantification**, qui stocke chaque paramètre avec moins de bits, les besoins en mémoire du modèle passent d’environ 16 Go à environ 7,4 Go dans la version sur 4 bits, avec une certaine perte d’exactitude (le résultat MMLU passe de 56,7 à 48,9).

## Pourquoi c’est important

Jusqu’ici, les modèles téléchargeables gratuitement les plus puissants venaient surtout de laboratoires américains, la famille Llama de Meta en tête. Qwen-7B ajoute une option bien documentée, entraînée abondamment en chinois comme en anglais, provenant de l’une des plus grandes entreprises infonuagiques de Chine.

La licence est généreuse, mais pas illimitée. Les chercheurs et les développeurs peuvent utiliser le code et les poids, et l’usage commercial est permis. Mais Reuters rapporte que toute entreprise dont les services rejoignent plus de 100 millions d’utilisateurs actifs par mois doit d’abord demander une licence à Alibaba, une idée semblable à la limite de Llama 2, qui s’applique au-delà de 700 millions d’utilisateurs.

Il y a aussi une logique d’affaires. Des analystes cités par Reuters estiment que les modèles ouverts pourraient gruger l’avance des services payants d’OpenAI et de Google. Alibaba, qui loue de la puissance de calcul, pourrait bien en profiter si davantage d’entreprises bâtissent sur un modèle qui tourne sans accroc sur son propre nuage. D’autres géants technologiques chinois, dont Tencent et Huawei, développent leurs propres modèles; beaucoup s’attendent donc à d’autres publications comme celle-ci.

> **À essayer :** écrivez trois courtes questions qui vous intéressent, une en anglais, une sur les mathématiques et une qui demande un tout petit bout de code. Posez chacune à un robot conversationnel que vous utilisez déjà, puis à Qwen-7B-Chat dans une démo en ligne. Notez quelles réponses sont exactes, pas seulement lesquelles semblent sûres d’elles.

## Comment essayer Qwen-7B vous-même?

La voie la plus simple est une démo Web, accessible par un lien sur la page GitHub du projet, où vous tapez une question et lisez la réponse sans rien installer. C’est suffisant pour vous faire une idée de son style en anglais et en chinois.

Si vous êtes à l’aise avec Python, le dépôt donne un court exemple qui utilise la bibliothèque Transformers de Hugging Face : vous chargez le segmenteur (*tokenizer*) et le modèle par leur nom, puis vous appelez une fonction de conversation qui conserve l’historique des échanges. Le modèle en pleine précision a besoin d’une carte graphique dotée d’environ 16 Go de mémoire; la version sur 4 bits tient dans environ la moitié.

Avant de construire quoi que ce soit pour des clients, lisez le fichier de licence dans le dépôt, et gardez en tête la condition des 100 millions d’utilisateurs si vous travaillez pour une très grande entreprise. Comme avec tout modèle, testez-le sur vos propres tâches, car les résultats aux bancs d’essai disent rarement comment il traitera vos questions particulières.

## Sources

- Qwen-7B (official repository README): https://github.com/QwenLM/Qwen-7B
- Alibaba rolls out open-sourced AI model to take on Meta's Llama 2: https://www.reuters.com/technology/alibaba-unveils-open-sourced-ai-model-similar-metas-llama-2-2023-08-03/