# Que veulent dire Q4_K_M, GGUF, MXFP4 et FP8, et lequel télécharger? Date: 2026-01-11 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/quantification-gguf-q4-mxfp4-fp8/ **Answer:** GGUF est un format de fichier, alors que Q4_K_M, MXFP4 et FP8 sont des façons de stocker chaque nombre sur moins de bits. Pour la plupart des gens, un fichier GGUF Q4_K_M est le choix sûr sur llama.cpp, Ollama et LM Studio, et un modèle entraîné pour MXFP4, comme gpt-oss, devrait être utilisé sous cette forme. Une page de téléchargement de modèle peut ressembler à un mur de codes : `Q4_K_M`, `UD-Q2_K_XL`, `MXFP4`, `BF16`, `FP8`, `4bit`. Certains nomment le contenant, le genre de fichier que vous obtenez. Les autres nomment la précision, soit le nombre de bits qui stockent chaque nombre. Le [guide d’installation](/fr/apprendre/executer-modele-ia-sur-son-ordinateur-2026/) couvre l’idée de base de la quantification et ses limites de qualité. Cet article décode les noms et explique ce qui distingue les formats plus récents. ## Contenants et précision Le **contenant**, c’est le format de fichier. **GGUF** est celui de llama.cpp et des outils bâtis dessus. Sa [spécification](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md) vise un chargement rapide et un seul fichier contenant tout le nécessaire, y compris les métadonnées qui décrivent le modèle. Le gpt-oss d’OpenAI, comme bien des modèles sur Hugging Face, existe aussi en fichiers **safetensors**, et `mlx-lm` convertit des modèles pour MLX, d’Apple. La **précision**, c’est la façon dont chaque poids est stocké. L’entraînement utilise normalement 16 ou 32 bits. La quantification arrondit ces nombres sur moins de bits, et l’astuce de chaque méthode est d’éviter que l’arrondi fasse trop de dégâts. ## Pourquoi un simple arrondi ne suffit pas Imaginez n’avoir que 16 valeurs possibles, ce que donnent 4 bits. Les poids varient beaucoup en taille : une seule échelle pour tout le modèle écraserait donc à zéro la plupart des petits nombres. L’[explication de The Register](https://www.theregister.com/2025/08/10/openai_mxfp4/) le montre avec quatre petits nombres : stockés directement sur 4 bits, 0,0625, 0,375, 0,078125 et 0,25 deviennent 0, 0,5, 0 et 0,5. La solution consiste à diviser les poids en petits blocs et à donner à chacun sa propre échelle. Les petits nombres restent alors distincts à l’intérieur de leur bloc. L’échelle du bloc coûte un peu de place de plus : c’est pourquoi un format « 4 bits » n’est jamais tout à fait à 4 bits par poids. ## Les principales méthodes comparées | Nom | Utilisé par | Bits par poids | Façon de mettre à l’échelle | |---|---|---|---| | `Q8_0` | llama.cpp | environ 8,5 | Une échelle par bloc | | `Q5_K_M` | llama.cpp | environ 5,7 | Super-blocs de 8 blocs de 32 poids | | `Q4_K_M` | llama.cpp | environ 4,9 | Même disposition, valeurs à 4 bits | | `Q2_K` | llama.cpp | environ 3,2 | Super-blocs de 16 blocs de 16 poids | | `MXFP4` | gpt-oss dans Ollama et vLLM | 4,25 | 32 poids partagent une échelle de 8 bits | | `FP8` | vLLM et serveurs semblables | 8 | Habituellement une échelle pour un tenseur entier | | MLX 4 bits | Puces Apple, par `mlx-lm` | environ 4 plus les échelles | Fixée par l’outil de conversion | | `BF16`, `F16` | Qualité quasi originale | 16 | Pratiquement aucune | Les bits par poids des formats `Q` sont les [mesures publiées par llama.cpp](https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md) sur Llama 3.1 8B, et les dispositions viennent du [tableau GGUF de Hugging Face](https://huggingface.co/docs/hub/gguf). Ce tableau situe le `Q4_K` pur à 4,5 bits, alors que le fichier `Q4_K_M` mesuré atteint 4,89, parce que toutes les parties du modèle ne sont pas stockées à la précision la plus basse. Certains téléverseurs poussent l’idée plus loin. Les fichiers marqués `UD-`, d’[Unsloth](https://unsloth.ai/docs/basics/unsloth-dynamic-2.0-ggufs), choisissent couche par couche à l’aide d’un jeu de données de calibration. Unsloth affirme obtenir une meilleure exactitude à taille égale. C’est l’affirmation de l’éditeur, qui prévient aussi que ses fichiers à 1 bit tournent en boucle et échouent aux appels d’outils. ## Ce qui distingue MXFP4 MXFP4 vient d’une [spécification de 2023 de l’Open Compute Project](https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf), dont les auteurs viennent notamment d’AMD, d’Arm, d’Intel, de Meta, de Microsoft et de NVIDIA. Le calcul se vérifie facilement : 32 poids à 4 bits font 128 bits, plus une échelle de 8 bits, soit 136 bits pour 32 poids ou 4,25 bits par poids. Cela correspond au chiffre de la fiche technique de gpt-oss d’OpenAI. Deux choses le distinguent d’un fichier `Q4`. **Les nombres sont à virgule flottante.** Chaque valeur de 4 bits a un signe, un exposant et une mantisse, comme une minuscule notation scientifique. Certaines puces la traitent directement : NVIDIA indique la prise en charge de FP4 pour les [Tensor Cores du DGX Spark](https://docs.nvidia.com/dgx/dgx-spark/hardware.html). D’autres non, et The Register note que le H100 n’a pas de prise en charge native, mais exécute quand même ces modèles. **Le modèle peut être entraîné pour ce format.** OpenAI dit avoir post-entraîné gpt-oss avec ses poids de mélange d’experts en MXFP4, plus de 90 % de tous les paramètres, et avoir mené ses évaluations sous cette forme. Le modèle a appris à composer avec cet arrondi, plutôt que de le subir après coup. C’est donc une propriété de cette version-là : convertir n’importe quel modèle en MXFP4 ne donne pas le même avantage à lui seul. ## Un exemple concret Prenons gpt-oss-20b. OpenAI compte 20,9 milliards de paramètres. Avec la formule du [calcul de la mémoire](/fr/apprendre/memoire-modele-ia-calcul/), 90 % de ceux-ci à 4,25 bits donnent environ 10 Go. La version d’Ollama fait 14 Go : le petit reste, moins de 10 % des poids, doit donc représenter environ 4 Go. Ces poids prennent bien plus de place chacun. Cela montre aussi pourquoi une étiquette basse peut tromper sur un tel modèle. Si la plupart des poids restent en MXFP4 quel que soit le nom du fichier, changer l’étiquette du reste bouge à peine la taille. > **À essayer :** ouvrez sur Hugging Face un modèle qui offre plusieurs fichiers GGUF. Divisez la taille de chaque fichier en Go par le nombre de paramètres en milliards, puis multipliez par 8. Comparez les bits par poids obtenus avec le tableau ci-dessus, et notez quels fichiers dépassent ce que leur nom laisse croire. ## Quel fichier choisir sur une page de téléchargement? Partez de votre moteur, car c’est lui qui décide du contenant : | Votre outil | Cherchez | |---|---| | Ollama, LM Studio, llama.cpp | GGUF, ou l’étiquette par défaut de l’outil | | Ollama ou `mlx-lm` sur Mac | Une version MLX, si elle est offerte | | vLLM | Safetensors en FP8, AWQ ou INT4; [vLLM indique aussi MXFP4 et GGUF](https://github.com/vllm-project/vllm) | Choisissez ensuite la précision. `Q4_K_M` ou une version MLX à 4 bits est un choix par défaut raisonnable pour le clavardage et la programmation. S’il reste de la mémoire, montez à `Q5_K_M` ou `Q6_K` avant de la dépenser ailleurs. Si vous en manquez, un plus gros modèle à 4 bits bat habituellement un plus petit à 8 bits, comme l’explique le guide d’installation. Sous environ 3 bits, testez soigneusement sur vos propres tâches, surtout les appels d’outils, car les agents peuvent casser avant que le clavardage semble en souffrir. Si les créateurs du modèle ont publié et testé une version quantifiée, commencez par celle-là, puisque leurs chiffres s’appliquent à ce fichier précis. Et ne quantifiez jamais un fichier déjà quantifié : llama.cpp prévient que la qualité peut en souffrir gravement. Repartez plutôt de l’original à 16 bits. ## Sources - OCP Microscaling Formats (MX) Specification, version 1.0: https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf - gpt-oss-120b and gpt-oss-20b Model Card: https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf - GGUF specification: https://github.com/ggml-org/ggml/blob/master/docs/gguf.md --- Tiré du Guide de l’intelligence artificielle, par Robert Scales, publié par Holistic Hybrid inc. Partage et adaptation permis selon la licence CC BY-NC-SA 4.0 (https://creativecommons.org/licenses/by-nc-sa/4.0/) : citez le guide, mettez un lien vers https://guidetoartificialintelligence.com/fr/apprendre/quantification-gguf-q4-mxfp4-fp8/, pas d’usage commercial sans permission, et gardez la même licence.