De combien de mémoire un modèle d’IA a-t-il besoin, et entrera-t-il dans votre machine?

Savoir si un modèle tournera sur votre ordinateur, c’est surtout de l’arithmétique. Un modèle est une très longue liste de nombres appelés paramètres, et la taille de cette liste est connue avant même le téléchargement.

Le guide d’installation donne un court tableau pour les tailles courantes. Cet article donne la méthode, pour que vous puissiez vérifier n’importe quel modèle.

La formule

def taille_go(params_milliards, bits_par_poids):
    return params_milliards * bits_par_poids / 8

print(taille_go(27, 4.9))   # environ 16,5 Go
print(taille_go(70, 4.9))   # environ 42,9 Go

Il y a 8 bits dans un octet, d’où la division. Les bits par poids dépendent de la quantification, le niveau de compression du fichier. Le projet llama.cpp les mesure sur Llama 3.1 8B : environ 16 bits pour F16, 8,5 pour Q8_0, 5,7 pour Q5_K_M, 4,89 pour Q4_K_M et 3,16 pour Q2_K.

La formule tient la route. Elle donne 4,9 Go pour le modèle 8B en Q4_K_M, et llama.cpp rapporte 4,9 Go. Pour 70B, elle donne 42,9 Go contre 43,1 Go en réalité, et pour 405B, environ 248 Go contre 249,1 Go en réalité.

La mémoire selon la taille du modèle

Ces valeurs sont calculées avec la formule, arrondies, pour les poids seuls :

Voici des tailles réelles, mesurées ou publiées, pour comparer :

Les modèles qui lisent des images ajoutent un encodeur, et leurs téléchargements sont donc un peu plus gros que la somme ne le laisse croire.

Ce que vous pouvez vraiment utiliser

Le chiffre installé est rarement le chiffre utilisable.

Des guides communautaires situent le plafond par défaut du Mac autour de 70 % à 75 %, un chiffre que la documentation de MLX LM n’indique pas. Cette documentation précise toutefois qu’un gros modèle qui entre en mémoire peut souvent être accéléré en relevant la limite avec sudo sysctl iogpu.wired_limit_mb=N. Laissez alors assez de place pour macOS et vos applications.

Ajoutez ensuite le contexte

La fenêtre de contexte, c’est ce que le modèle garde en vue : votre question, la conversation et les documents. Elle prend de la mémoire que la taille du fichier ne montre pas, et combien dépend du modèle. Ollama note qu’un contexte plus grand augmente l’utilisation de mémoire, et il fixe sa valeur par défaut selon votre VRAM : environ 4 000 jetons sous 24 Gio, 32 000 jusqu’à 48 Gio et 256 000 au-delà. Il recommande au moins 64 000 pour les agents et les outils de programmation. Si plusieurs requêtes tournent en même temps, le besoin de mémoire d’Ollama croît selon le nombre de requêtes parallèles multiplié par la longueur du contexte.

Voici un calcul de planification pour un montage de programmation avec Qwen3.8-27B sur une machine de 32 Go, où la marge de 30 % est notre propre règle empirique plutôt qu’une norme publiée :

1. Poids : 18 Go, selon la page de téléchargement.
2. Marge pour le contexte et le logiciel : 30 % de 18 Go, environ 5,4 Go.
3. Total : environ 23,4 Go.
4. Reste pour le système et les applications sur 32 Go : environ 8,6 Go. Ça devrait fonctionner, avec peu de place pour autre chose.

Pour vérifier, chargez le modèle et lancez ollama ps, qui montre la mémoire utilisée et sa répartition entre le processeur graphique et le processeur central. Tout ce qui n’est pas 100 % GPU signifie que vous dépassez le budget.

Voici mon matériel : [carte graphique ou modèle de Mac, mémoire installée, système d’exploitation]. Voici les modèles que j’envisage, avec leur nombre de paramètres et leur taille de téléchargement : [liste]. Pour chacun, calcule les poids en Go, ajoute une marge de 30 % et dis si le modèle entre dans ma mémoire utilisable. Montre le calcul. Si tu ne sais pas quelle part de ma mémoire le processeur graphique peut utiliser, dis-le au lieu de deviner.

Pourquoi un modèle qui devrait entrer reste-t-il lent?

Entrer et aller vite sont deux questions distinctes. La vitesse dépend de la bande passante de la mémoire, parce que le processeur doit lire les paramètres actifs pour chaque jeton écrit. Ainsi, 128 Go de mémoire partagée plus lente peuvent charger un gros modèle et se traîner quand même. LMSYS a mesuré un DGX Spark, à 273 Go/s, à 2,7 jetons par seconde sur Llama 3.1 70B. C’est environ deux mots par seconde : utilisable pour un traitement en lot, mais pénible en conversation.

Un modèle à mélange d’experts, qui n’active qu’une partie de lui-même pour chaque jeton, change le calcul. gpt-oss-120b compte 117 milliards de paramètres, mais seulement 5,1 milliards actifs à la fois : tout doit entrer en mémoire, alors que la vitesse se rapproche de celle d’un modèle bien plus petit. L’explication du mélange d’experts couvre cette conception.

La dernière cause, c’est le débordement : quand un modèle n’entre pas au complet, le reste tourne sur le processeur central et ralentit tout. Si la vitesse s’effondre, vérifiez d’abord cela, puis réduisez le contexte ou passez à un modèle plus petit.