Comment utiliser Mistral Large 3 comme modèle à poids ouverts?

Mistral Large 3, lancé par Mistral AI le 2 décembre comme le plus grand membre de sa famille Mistral 3, est un modèle à poids ouverts. Les poids, ces milliards de nombres que le modèle a appris pendant l’entraînement, sont publiés et n’importe qui peut les télécharger. Avec un modèle fermé, comme ceux qui font tourner ChatGPT ou Gemini, vous pouvez seulement envoyer des requêtes aux serveurs de l’entreprise. Avec des poids ouverts, c’est vous qui choisissez où le modèle tourne, qui voit vos données et si vous l’adaptez.

Cette liberté demande du travail. Ce guide explique ce que la licence vous permet de faire, ce dont le modèle a besoin pour tourner et comment le servir vous-même, étape par étape.

Ce que permet la licence

Mistral publie chaque modèle Mistral 3 sous Apache 2.0, l’une des licences logicielles les plus permissives. Concrètement, vous pouvez utiliser le modèle à des fins commerciales ou personnelles, le modifier, lui faire subir un ajustement fin (l’entraîner davantage sur vos propres données) et l’intégrer à un produit. Vous devez conserver les avis de licence et de droit d’auteur, et vous n’obtenez aucune garantie. La fiche technique du modèle (model card) ajoute le rappel habituel : vous ne pouvez pas utiliser le modèle pour porter atteinte aux droits d’autrui, y compris la propriété intellectuelle.

Pour une entreprise, c’est important, car il n’y a aucuns frais par requête à payer à Mistral quand vous faites tourner le modèle vous-même, et aucun risque qu’un fournisseur change ses conditions pour un modèle dont vous dépendez. Vos coûts se déplacent plutôt vers le matériel et le temps du personnel.

Ce dont le modèle a besoin

Mistral Large 3 est un modèle à mélange d’experts (mixture-of-experts) : 675 milliards de paramètres au total, mais seulement environ 41 milliards sont actifs pour chaque jeton, parce qu’un routeur envoie chaque morceau de texte à quelques sous-réseaux spécialisés (les « experts »). Il est donc plus rapide que sa taille ne le laisse croire, mais tous les poids doivent quand même résider dans la mémoire des GPU.

La fiche technique énumère trois versions du modèle ajusté aux consignes :

Une règle approximative : à 8 bits, chaque paramètre occupe un octet, donc les poids FP8 à eux seuls font environ 675 gigaoctets. Voilà pourquoi c’est un modèle pour serveur, pas pour ordinateur portable. Mistral énumère aussi des limites connues : des modèles de raisonnement spécialisés peuvent le battre en raisonnement strict, des modèles conçus d’abord pour la vision peuvent le battre sur les tâches d’images, et il est difficile à déployer sur du matériel limité.

Un exemple concret : le servir avec vLLM

Mistral recommande vLLM, un programme à code source ouvert qui sert efficacement les modèles de langage et expose une API dans le même format que celle d’OpenAI. Sur un serveur loué ou interne muni de huit GPU adéquats, la fiche technique donne les étapes suivantes.

Installez ou mettez à jour vLLM (il apporte avec lui la bibliothèque de segmentation en jetons de Mistral) :

pip install vllm --upgrade

Démarrez le serveur. --tensor-parallel-size 8 répartit le modèle sur les huit GPU; les deux dernières options activent l’appel d’outils (qui permet au modèle de demander à votre code d’exécuter des fonctions) :

vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512 \
  --tensor-parallel-size 8 \
  --tokenizer_mode mistral --config_format mistral --load_format mistral \
  --enable-auto-tool-choice --tool-call-parser mistral

Par défaut, il accepte jusqu’à 262 144 jetons de contexte. Ajouter --max-model-len 32768 économise de la mémoire si vos documents sont plus courts.

Appelez-le ensuite depuis Python avec la bibliothèque standard openai, pointée vers votre propre serveur :

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")

reply = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512",
    messages=[
        {"role": "system", "content": "Tu réponds en français simple, pour le propriétaire d’une petite entreprise."},
        {"role": "user", "content": "Résume les principales obligations de cette clause du bail : ..."},
    ],
    temperature=0.05,
)
print(reply.choices[0].message.content)

Mistral recommande une température inférieure à 0,1 pour le travail en production, un prompt système clair et aussi peu d’outils que la tâche l’exige. Comme le format de l’API correspond à celui d’OpenAI, le code que vous avez déjà écrit pour un autre modèle n’a souvent besoin que d’un nouveau base_url et d’un nouveau nom de modèle.

Où pouvez-vous l’héberger?

Il y a trois grandes options. La plus simple est une API hébergée : Mistral a cité sa propre AI Studio, Amazon Bedrock, Azure Foundry, IBM watsonx, OpenRouter, Fireworks, Together AI et Modal parmi les services qui offraient Mistral 3 au lancement, NVIDIA NIM et AWS SageMaker devant suivre bientôt. Vous payez au jeton, et le fournisseur s’occupe du matériel. Lisez les conditions de traitement des données de chaque fournisseur, puisque vos prompts sont envoyés à ses serveurs.

La deuxième est un serveur à GPU loué chez un fournisseur infonuagique, où vous faites tourner vLLM vous-même comme ci-dessus. Vos données restent sur une machine que vous contrôlez, et vous payez à l’heure, qu’elle soit occupée ou non; c’est donc logique quand l’utilisation est régulière.

La troisième est votre propre matériel, dans votre bureau ou votre centre de données. C’est ce qui donne le plus de contrôle, ce qui peut compter dans les domaines réglementés comme la santé ou le droit, mais un nœud de huit GPU de cette catégorie est un achat important. Guillaume Lample, cofondateur et directeur scientifique de Mistral, a déclaré à TechCrunch que la plupart des usages en entreprise peuvent être confiés à de petits modèles une fois ajustés, et les modèles Ministral 3 du même lancement tournent sur un seul GPU. Testez-en un avant de vous engager avec le grand.