Qu’est-ce que Mixtral 8x7B, et comment fonctionne un mélange d’experts?

Hier, Mistral AI, une jeune entreprise française établie à Paris, a officiellement lancé Mixtral 8x7B, un modèle de langage que vous pouvez télécharger, faire tourner sur votre propre matériel et utiliser commercialement avec très peu de restrictions. Selon les propres tests de Mistral, il fait à peu près aussi bien que GPT-3.5 d’OpenAI sur la plupart des bancs d’essai standard.

Cette affirmation attire l’attention parce que les modèles ouverts, ceux dont les fichiers sont publiés pour que n’importe qui puisse les utiliser, ont généralement été à la traîne des meilleurs systèmes fermés. Des développeurs le font déjà tourner sur leurs propres ordinateurs, et des chercheurs bien connus comme Andrej Karpathy ont dit publiquement que les résultats semblent marquer un vrai pas en avant.

Qui l’a créé, et qu’est-ce qui a été publié?

Mistral AI a été fondée à Paris en mai. Ses trois cofondateurs sont Arthur Mensch, son PDG, Guillaume Lample et Timothée Lacroix. En septembre, elle a lancé Mistral 7B, un modèle plus petit qu’elle a aussi offert en téléchargement gratuit. Hier, l’entreprise a aussi conclu une ronde de financement de 385 millions d’euros, soit environ 415 millions $ US, menée par la société de capital de risque Andreessen Horowitz.

La publication compte trois volets :

• Mixtral 8x7B, le modèle de base, entraîné sur des textes du Web ouvert.
• Mixtral 8x7B Instruct, une version ajustée pour suivre des consignes, au moyen d’un ajustement fin supervisé (un entraînement sur des exemples de bonnes réponses) et de l’optimisation directe des préférences, ou DPO (un entraînement sur des paires de réponses dont l’une est préférée).
• Une API payante, en bêta, où Mixtral tourne sous le nom mistral-small, à côté de mistral-tiny (Mistral 7B) et d’un mistral-medium plus puissant, offert seulement par l’API.

Les poids, les fichiers de nombres qui constituent un réseau de neurones entraîné, sont publiés sous Apache 2.0, une licence de code source ouvert qui permet l’usage commercial. Ils sont offerts sur Hugging Face, le site de partage de modèles, et par BitTorrent.

Comment fonctionne un mélange d’experts?

La plupart des modèles de langage sont « denses » : chaque partie du réseau travaille sur chaque mot. Mixtral est clairsemé (sparse). Dans chacune de ses couches, un composant, appelé le bloc à propagation avant (feedforward), existe en huit versions distinctes, les « experts ». Avant que chaque jeton (un mot ou un morceau de mot) soit traité, un petit réseau routeur l’examine et choisit deux des huit experts. Seuls ces deux-là font le travail, et leurs résultats sont additionnés.

Ars Technica propose une comparaison avec une usine : au lieu que chaque travailleur touche à chaque produit, un superviseur envoie chaque tâche aux deux travailleurs les mieux placés pour la faire. L’usine compte beaucoup de travailleurs, mais chaque tâche n’en utilise que quelques-uns.

Le nom peut induire en erreur. « 8x7B » laisse croire à huit modèles complets de 7 milliards de paramètres, soit 56 milliards de paramètres. En fait, seuls les blocs à propagation avant sont multipliés par huit; le reste du réseau est partagé. Un paramètre est l’un des nombres ajustables qu’un modèle apprend pendant l’entraînement.

L’avantage, c’est l’efficacité. Comme seulement environ 13 milliards de paramètres sont actifs pour chaque jeton, Mixtral tourne à peu près à la vitesse et au coût d’un modèle de 13 milliards de paramètres, tout en puisant dans les connaissances stockées dans l’ensemble des 46,7 milliards. Mistral affirme qu’il répond environ six fois plus vite que Llama 2 70B de Meta, tout en le battant dans la plupart des bancs d’essai.

Quelles sont ses performances?

Mistral rapporte que Mixtral égale ou surpasse à la fois Llama 2 70B et GPT-3.5 dans la plupart des bancs d’essai qu’elle a utilisés, et qu’il est fort pour écrire du code. La version Instruct obtient 8,30 à MT-Bench, un test qui mesure comment les modèles de clavardage gèrent les conversations à plusieurs tours, ce qui en fait selon Mistral le meilleur modèle à code source ouvert à ce test, comparable à GPT-3.5. À TruthfulQA, un test qui vérifie si les modèles répètent des faussetés répandues, le modèle de base a obtenu 73,9 %, contre 50,2 % pour Llama 2.

Ce sont les propres chiffres de l’entreprise : les tests indépendants des prochaines semaines compteront donc. Mistral note aussi que, sans prompt pour l’encadrer, Mixtral suivra toutes les consignes qu’on lui donne : les développeurs qui ont besoin de limites sur le contenu doivent donc les ajouter.

Pourquoi est-ce important?

Mixtral réduit l’écart entre les modèles ouverts et fermés. Pour les développeurs, cela veut dire un modèle de la classe de GPT-3.5 qu’ils peuvent faire tourner sur leurs propres serveurs, examiner, ajuster et intégrer à des produits sans envoyer de données à une entreprise externe. Les premiers utilisateurs rapportent le faire tourner localement à environ 30 jetons par seconde sur un ordinateur Apple M1.

Il fait aussi entrer l’architecture à mélange d’experts dans le monde ouvert. L’idée n’est pas nouvelle, mais Mixtral en est un exemple largement accessible et bien documenté, qui montre comment un modèle peut croître en connaissances totales sans croître autant en coût d’exploitation. Mistral a contribué du code à vLLM, un système de service de modèles à code source ouvert, pour que d’autres puissent le faire tourner efficacement.

Enfin, il montre à quelle vitesse un nouveau venu peut atteindre ce niveau. Mistral a environ sept mois, et son PDG, Arthur Mensch, décrit son objectif comme la création d’un chef de file européen de l’IA générative, avec une approche ouverte.

Comment essayer Mixtral vous-même?

Si vous êtes développeur, la voie la plus simple est la plateforme de Mistral elle-même, qui sert Mixtral sous le nom mistral-small; vous pouvez vous y inscrire pour obtenir un accès anticipé à son API.

Pour le faire tourner sur votre propre ordinateur, des applications de bureau comme LM Studio vous permettent de télécharger une version du modèle et de converser avec lui hors ligne. Les premiers utilisateurs rapportent de bonnes vitesses sur les portables Apple récents, même si un gros téléchargement et une machine bien équipée aident.

Les chercheurs et les entreprises peuvent télécharger les poids complets sur Hugging Face et les utiliser sous Apache 2.0, y compris dans des produits commerciaux. Commencez par la version Instruct si vous voulez un assistant de clavardage, et ajoutez une consigne de type prompt système qui décrit ce que le modèle doit faire et ne pas faire.