Comment faire tourner Qwen3.5 en local?

Quand Alibaba a lancé Qwen3.5 le 16 février, son premier modèle ouvert était énorme : 397 milliards de paramètres, beaucoup trop pour un ordinateur personnel. Hier, l’équipe Qwen a ajouté trois membres de taille moyenne à la famille, et l’un d’eux, Qwen3.5-35B-A3B, est le premier qu’un portable ou un ordinateur de bureau bien équipé peut réalistement faire tourner. Il garde les principales caractéristiques de la famille : il lit le texte et les images, réfléchit avant de répondre, prend en charge 201 langues et dialectes, et son utilisation est gratuite sous licence Apache 2.0.

Son nom indique ce qui le rend pratique. Il compte 35 milliards de paramètres au total (les nombres ajustables qu’un modèle apprend), mais c’est un modèle à mélange d’experts (mixture of experts) : pour chaque jeton, un routeur n’en active qu’environ 3 milliards (« A3B »). Les 35 milliards doivent quand même se trouver en mémoire, mais chaque mot coûte l’effort de calcul d’un modèle beaucoup plus petit, ce qui lui permet de répondre à un rythme confortable sur du matériel ordinaire.

Ce qu’il vous faut

Deux choses : un programme qui fait tourner le modèle, et une copie compressée du modèle qui tient dans votre mémoire.

Le programme, c’est llama.cpp, un moteur gratuit à code source ouvert qui fait tourner des modèles de langage sur du matériel courant. Il lit les modèles dans un format de fichier appelé GGUF, et il peut les télécharger directement depuis Hugging Face, le principal site Web de partage de modèles.

La copie compressée vient de la quantification : on stocke chaque paramètre avec moins de bits (4 au lieu de 16, par exemple), ce qui réduit le fichier et la mémoire nécessaire, au prix d’une petite perte de qualité. Unsloth, une équipe qui adapte les modèles ouverts au matériel domestique, a publié des versions GGUF de Qwen3.5-35B-A3B quelques heures après le lancement, en tailles d’environ 12 Go à environ 25 Go.

Qwen3.5 utilise une nouvelle architecture : utilisez donc une version récente de llama.cpp. Une copie plus ancienne, installée il y a des mois, pourrait ne pas reconnaître le modèle.

Une installation concrète, étape par étape

1. Installez llama.cpp. Sur un Mac (ou sous Linux avec Homebrew), et sous Windows :

brew install llama.cpp       # Mac ou Linux avec Homebrew
winget install llama.cpp     # Windows

S’il est déjà installé, mettez-le à jour (brew upgrade llama.cpp sur un Mac).

2. Téléchargez et lancez le modèle. L’option -hf désigne le dépôt Hugging Face, et la partie après le deux-points choisit une quantification :

llama-cli -hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M \
  --temp 1.0 --top-p 0.95 --top-k 20 --presence-penalty 1.5 \
  -c 32768

Le premier lancement télécharge environ 21 Go : démarrez-le sur une connexion rapide. Les réglages d’échantillonnage sont ceux que recommande la fiche du modèle Qwen pour le mode réflexion sur des tâches générales. La température contrôle le hasard, et la pénalité de présence (presence penalty) décourage le modèle de se répéter. Le -c 32768 fixe une fenêtre de contexte (la quantité de texte que le modèle garde en vue) de 32 768 jetons pour économiser la mémoire. Le modèle en accepte beaucoup plus, et la fiche conseille de garder au moins 128 000 jetons pour les longs raisonnements; augmentez-la si vous avez de la mémoire à revendre.

3. Posez une question qui récompense la réflexion.

Un train part à 9 h 40 et arrive à 13 h 15, avec un arrêt de 25 minutes en route. Combien de temps a-t-il réellement roulé? Montre brièvement ton raisonnement, puis donne la réponse en une ligne.

Le modèle écrit d’abord son raisonnement, entre des balises <think>, puis la réponse. Lisez le raisonnement : il montre si le modèle a compris la question.

4. Vous préférez une fenêtre de navigateur? Lancez plutôt le serveur :

llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M -c 32768

Ouvrez ensuite http://localhost:8080 pour une page de clavardage simple. La même adresse offre aussi une API compatible avec celle d’OpenAI, pour que d’autres applications de votre ordinateur puissent utiliser le modèle.

Quelle taille convient à votre ordinateur?

C’est la mémoire qui décide. Le fichier du modèle doit tenir dans la mémoire vive, ou dans la mémoire d’une carte graphique, en laissant de la place pour le contexte et le reste de votre système. Voici les fichiers d’Unsloth pour Qwen3.5-35B-A3B et une estimation de la mémoire dont chacun a besoin :

La colonne de mémoire est une règle empirique, pas une garantie : la taille du téléchargement plus plusieurs gigaoctets pour le contexte et le système d’exploitation. Moins de bits veut dire des fichiers plus petits et des réponses un peu moins bonnes; le 4 bits est l’équilibre habituel, et le 2 bits, un dernier recours.

Les autres nouveaux modèles sont d’une autre échelle. Qwen3.5-27B devrait demander environ 16 à 17 Go en 4 bits, et Qwen3.5-122B-A10B environ 70 Go ou plus; ces deux chiffres sont des estimations extrapolées à partir du fichier 35B, pas des tailles publiées. Le modèle 122B s’adresse aux stations de travail et aux Mac dotés de beaucoup de mémoire. Le modèle original de 397B exige du matériel de serveur.

Un parcours raisonnable : sur une machine de 16 Go, essayez le fichier en 2 bits et jugez par vous-même, ou utilisez la version hébergée, qu’Alibaba offre dans son service Model Studio sous le nom de Qwen3.5-Flash. Avec 24 Go, commencez par le fichier en 3 bits. Avec 32 Go ou plus, utilisez un fichier en 4 bits. Si les réponses se traînent ou si votre ordinateur se met à utiliser le disque comme mémoire d’échange, descendez d’une taille ou réduisez le contexte. Quel que soit votre choix, tout ce que vous tapez reste sur votre propre machine.