# Qu’est-ce que Mistral 7B, et comment un petit modèle peut-il rivaliser avec de plus gros?

Date: 2023-09-28 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-mistral-7b/

**Answer:** Mistral 7B est le premier modèle de langage de la jeune pousse française Mistral AI, publié le 27 septembre 2023 : un modèle de 7,3 milliards de paramètres que tout le monde peut télécharger et utiliser sans restriction sous la licence Apache 2.0. Selon Mistral, il surpasse Llama 2 13B de Meta, presque deux fois plus gros, sur tous les bancs d’essai testés, en partie grâce à des techniques d’attention qui le rendent plus rapide et plus léger à faire tourner.

Hier, une jeune entreprise française appelée **Mistral AI** a publié son premier modèle, **Mistral 7B**, et l’a rendu gratuit pour tout le monde, à toutes fins. Il est petit selon les normes actuelles, environ 7,3 milliards de paramètres, et pourtant Mistral affirme qu’il surpasse des modèles presque deux fois plus gros.

Mistral a réalisé une très grosse première ronde de financement en juin et, selon TechCrunch, ses fondateurs ont acquis de l’expérience en construisant des modèles comparables chez Google DeepMind et Meta. L’équipe dit que le modèle est le fruit d’environ trois mois de travail, y compris la mise sur pied, à partir de zéro, de son infrastructure d’entraînement et de son pipeline de données.

## Ce qui a été publié

Mistral offre deux modèles :

- **Mistral 7B**, le modèle de base, entraîné à poursuivre un texte.
- **Mistral 7B Instruct**, une version ajustée pour la conversation, c’est-à-dire qu’elle a reçu un entraînement supplémentaire sur des exemples de consignes et de bonnes réponses. Mistral n’a utilisé que des jeux de données de consignes accessibles publiquement sur Hugging Face, sans données privées.

Les fichiers peuvent être téléchargés de plusieurs façons, notamment par un torrent de 13,4 gigaoctets, un lien de partage de fichiers pair à pair, que quelques centaines de personnes partageaient déjà quand TechCrunch a rapporté le lancement. Mistral fournit aussi du code de référence pour faire tourner le modèle sur votre propre ordinateur et des instructions pour le déployer sur les grandes plateformes infonuagiques (Amazon, Google et Microsoft), ainsi qu’un dépôt GitHub et un canal Discord pour les discussions.

## Comment il se compare

Mistral a refait lui-même tous les tests sur sa propre plateforme d’évaluation pour que les comparaisons soient équitables, un point à garder en tête puisqu’il s’agit des chiffres de l’entreprise. Ses principales affirmations :

| Comparé à | Résultat selon Mistral |
|---|---|
| Llama 2 13B (presque deux fois plus gros) | Meilleur sur tous les bancs d’essai testés |
| Llama 1 34B (presque cinq fois plus gros) | Meilleur sur de nombreux bancs d’essai |
| Code Llama 7B (un modèle spécialisé en programmation) | Proche en code, tout en restant bon dans les tâches en anglais |
| Llama 2 13B chat (pour la version Instruct) | Meilleur, et le meilleur modèle 7B au test de conversation MT-Bench |

Mistral propose aussi une façon utile de penser à l’efficacité. En raisonnement, en compréhension et au vaste test de connaissances MMLU, il affirme que Mistral 7B se comporte comme un modèle Llama 2 plus de trois fois plus gros. Cela se traduit par moins de mémoire et des réponses plus rapides pour la même qualité.

Il y a une exception, reconnue honnêtement. Aux tests de connaissances, qui demandent des faits comme des réponses à des questions de culture générale, Mistral 7B ne fait qu’égaler Llama 2 13B. L’explication de l’entreprise : un modèle plus petit a moins de paramètres dans lesquels stocker des faits.

## Comment il fonctionne : deux astuces d’attention

Comme presque tous les modèles de langage récents, Mistral 7B est un **Transformer**. Son mécanisme clé, l’**attention**, permet à chaque mot de regarder les mots précédents pour décider de ce qui compte. Mistral a modifié cette façon de regarder de deux manières.

**L’attention à requêtes groupées (*grouped-query attention*, GQA).** Dans l’attention standard, de nombreuses « têtes » distinctes gardent chacune leur propre copie de certaines données sur les mots précédents. La GQA permet à des groupes de têtes de partager ces données, ce qui réduit l’utilisation de la mémoire et accélère la génération avec peu de perte de qualité.

**L’attention à fenêtre glissante (*sliding window attention*, SWA).** Chaque couche du modèle ne regarde en arrière que sur les 4 096 positions les plus récentes plutôt que sur tout le texte. Cela ressemble à une limite, mais les couches sont empilées. Voici l’idée, étape par étape :

1. La couche 1 voit les 4 096 derniers jetons.
2. La couche 2 regarde les résultats de la couche 1, et chacun d’eux résume déjà 4 096 jetons; la couche 2 peut donc puiser de l’information environ deux fois plus loin en arrière.
3. Chaque couche supérieure remonte encore plus loin.

Une analogie : dans une longue file de personnes qui se passent des messages, chacune ne parle qu’à ses quelques voisins immédiats, et pourtant les nouvelles de l’autre bout finissent par arriver après quelques tours. Mistral affirme que cette technique, combinée à des améliorations qu’il a apportées aux bibliothèques FlashAttention et xFormers, double la vitesse sur des séquences de 16 000 jetons, et qu’une fenêtre fixe réduit de moitié la mémoire cache pour des entrées de 8 192 jetons sans nuire à la qualité.

## Pourquoi c’est important

La licence est la grande nouvelle. Mistral 7B utilise **Apache 2.0**, une licence de logiciel à code source ouvert courante, sans limite d’utilisation ni de redistribution autre que l’obligation de mentionner la source. Llama 2 de Meta et Qwen-7B d’Alibaba, en revanche, viennent avec leurs propres licences, qui comportent des conditions pour les très grandes entreprises. Une personne qui bricole par passion, une jeune pousse ou une grande société peuvent utiliser Mistral 7B aux mêmes conditions.

Les petits modèles performants comptent aussi parce qu’ils coûtent peu à faire tourner. Un modèle de cette taille peut généralement fonctionner sur une seule carte graphique; plus de gens peuvent donc expérimenter, et les entreprises peuvent garder leurs données à l’interne.

Il y a des bémols. Le modèle Instruct n’a pas encore de modération intégrée; Mistral dit vouloir travailler avec la communauté sur des garde-fous pour les contextes qui exigent des réponses filtrées. Et TechCrunch note que l’« ouverture » a ses limites : le modèle a été construit en privé, et les données d’entraînement n’ont pas été publiées. Mistral prévoit aussi des produits commerciaux payants, notamment des services hébergés pour les entreprises.

> **À essayer :** choisissez une question de votre domaine qui a une bonne réponse claire. Posez-la à un grand robot conversationnel, puis à un petit modèle comme Mistral 7B Instruct dans une démo en ligne. Notez où le petit modèle tient le coup et où il dérape, surtout sur les faits.

## Que vous permet de faire la licence Apache 2.0 avec Mistral 7B?

Apache 2.0 vous permet d’utiliser, de copier, de modifier et de distribuer le modèle, y compris dans des produits commerciaux, sans payer de frais ni demander la permission. Vous pouvez l’ajuster finement sur vos propres données et livrer le résultat dans une application ou un service.

Les principales obligations portent sur la mention de la source et les avis : quand vous le redistribuez, vous incluez la licence et conservez les renseignements sur le droit d’auteur et l’attribution. La licence comprend aussi une concession de brevets de la part des contributeurs, ce qui offre aux entreprises une sécurité juridique supplémentaire.

Ce que la licence ne fait pas, c’est garantir quoi que ce soit. Le modèle est fourni « tel quel », sans garantie, et la responsabilité de son comportement dans votre produit vous revient. Comme la version Instruct n’a pas de modération intégrée, ajoutez vos propres vérifications de sécurité avant de la mettre devant des clients.

## Sources

- Mistral 7B: https://mistral.ai/news/announcing-mistral-7b/
- Mistral AI makes its first large language model free for everyone: https://techcrunch.com/2023/09/27/mistral-ai-makes-its-first-large-language-model-free-for-everyone/