Que veulent dire Q4_K_M, GGUF, MXFP4 et FP8, et lequel télécharger?

Une page de téléchargement de modèle peut ressembler à un mur de codes : Q4_K_M, UD-Q2_K_XL, MXFP4, BF16, FP8, 4bit. Certains nomment le contenant, le genre de fichier que vous obtenez. Les autres nomment la précision, soit le nombre de bits qui stockent chaque nombre.

Le guide d’installation couvre l’idée de base de la quantification et ses limites de qualité. Cet article décode les noms et explique ce qui distingue les formats plus récents.

Contenants et précision

Le contenant, c’est le format de fichier. GGUF est celui de llama.cpp et des outils bâtis dessus. Sa spécification vise un chargement rapide et un seul fichier contenant tout le nécessaire, y compris les métadonnées qui décrivent le modèle. Le gpt-oss d’OpenAI, comme bien des modèles sur Hugging Face, existe aussi en fichiers safetensors, et mlx-lm convertit des modèles pour MLX, d’Apple.

La précision, c’est la façon dont chaque poids est stocké. L’entraînement utilise normalement 16 ou 32 bits. La quantification arrondit ces nombres sur moins de bits, et l’astuce de chaque méthode est d’éviter que l’arrondi fasse trop de dégâts.

Pourquoi un simple arrondi ne suffit pas

Imaginez n’avoir que 16 valeurs possibles, ce que donnent 4 bits. Les poids varient beaucoup en taille : une seule échelle pour tout le modèle écraserait donc à zéro la plupart des petits nombres. L’explication de The Register le montre avec quatre petits nombres : stockés directement sur 4 bits, 0,0625, 0,375, 0,078125 et 0,25 deviennent 0, 0,5, 0 et 0,5.

La solution consiste à diviser les poids en petits blocs et à donner à chacun sa propre échelle. Les petits nombres restent alors distincts à l’intérieur de leur bloc. L’échelle du bloc coûte un peu de place de plus : c’est pourquoi un format « 4 bits » n’est jamais tout à fait à 4 bits par poids.

Les principales méthodes comparées

Les bits par poids des formats Q sont les mesures publiées par llama.cpp sur Llama 3.1 8B, et les dispositions viennent du tableau GGUF de Hugging Face.

Ce tableau situe le Q4_K pur à 4,5 bits, alors que le fichier Q4_K_M mesuré atteint 4,89, parce que toutes les parties du modèle ne sont pas stockées à la précision la plus basse. Certains téléverseurs poussent l’idée plus loin. Les fichiers marqués UD-, d’Unsloth, choisissent couche par couche à l’aide d’un jeu de données de calibration. Unsloth affirme obtenir une meilleure exactitude à taille égale. C’est l’affirmation de l’éditeur, qui prévient aussi que ses fichiers à 1 bit tournent en boucle et échouent aux appels d’outils.

Ce qui distingue MXFP4

MXFP4 vient d’une spécification de 2023 de l’Open Compute Project, dont les auteurs viennent notamment d’AMD, d’Arm, d’Intel, de Meta, de Microsoft et de NVIDIA. Le calcul se vérifie facilement : 32 poids à 4 bits font 128 bits, plus une échelle de 8 bits, soit 136 bits pour 32 poids ou 4,25 bits par poids. Cela correspond au chiffre de la fiche technique de gpt-oss d’OpenAI.

Deux choses le distinguent d’un fichier Q4.

Les nombres sont à virgule flottante. Chaque valeur de 4 bits a un signe, un exposant et une mantisse, comme une minuscule notation scientifique. Certaines puces la traitent directement : NVIDIA indique la prise en charge de FP4 pour les Tensor Cores du DGX Spark. D’autres non, et The Register note que le H100 n’a pas de prise en charge native, mais exécute quand même ces modèles.

Le modèle peut être entraîné pour ce format. OpenAI dit avoir post-entraîné gpt-oss avec ses poids de mélange d’experts en MXFP4, plus de 90 % de tous les paramètres, et avoir mené ses évaluations sous cette forme. Le modèle a appris à composer avec cet arrondi, plutôt que de le subir après coup. C’est donc une propriété de cette version-là : convertir n’importe quel modèle en MXFP4 ne donne pas le même avantage à lui seul.

Un exemple concret

Prenons gpt-oss-20b. OpenAI compte 20,9 milliards de paramètres. Avec la formule du calcul de la mémoire, 90 % de ceux-ci à 4,25 bits donnent environ 10 Go. La version d’Ollama fait 14 Go : le petit reste, moins de 10 % des poids, doit donc représenter environ 4 Go. Ces poids prennent bien plus de place chacun.

Cela montre aussi pourquoi une étiquette basse peut tromper sur un tel modèle. Si la plupart des poids restent en MXFP4 quel que soit le nom du fichier, changer l’étiquette du reste bouge à peine la taille.

Quel fichier choisir sur une page de téléchargement?

Partez de votre moteur, car c’est lui qui décide du contenant :

Choisissez ensuite la précision. Q4_K_M ou une version MLX à 4 bits est un choix par défaut raisonnable pour le clavardage et la programmation. S’il reste de la mémoire, montez à Q5_K_M ou Q6_K avant de la dépenser ailleurs. Si vous en manquez, un plus gros modèle à 4 bits bat habituellement un plus petit à 8 bits, comme l’explique le guide d’installation. Sous environ 3 bits, testez soigneusement sur vos propres tâches, surtout les appels d’outils, car les agents peuvent casser avant que le clavardage semble en souffrir.

Si les créateurs du modèle ont publié et testé une version quantifiée, commencez par celle-là, puisque leurs chiffres s’appliquent à ce fichier précis. Et ne quantifiez jamais un fichier déjà quantifié : llama.cpp prévient que la qualité peut en souffrir gravement. Repartez plutôt de l’original à 16 bits.