Comment faire tourner un modèle DeepSeek-R1 distillé avec Ollama?

Faire tourner DeepSeek-R1 sur votre propre ordinateur signifie que vos questions n’en sortent jamais. Il n’y a aucun compte à créer, aucun serveur à l’étranger qui conserve vos conversations, et tout continue de fonctionner sans connexion Internet. Le hic, c’est que le R1 complet est beaucoup trop gros pour un ordinateur personnel. Ce que vous pouvez faire tourner, c’est l’une de ses versions distillées, et Ollama, un outil gratuit pour faire tourner des modèles de langage localement, règle la question en deux commandes.

Que veut dire « distillé »?

La distillation est une façon de transmettre des compétences d’un grand modèle à un plus petit. Le grand modèle, appelé l’enseignant, produit de nombreuses réponses détaillées; un modèle plus petit, l’élève, subit ensuite un ajustement fin (un entraînement supplémentaire) sur ces réponses pour apprendre à les imiter. L’élève finit par être bien meilleur qu’avant dans la spécialité de l’enseignant, sans toutefois l’égaler.

C’est exactement ce que DeepSeek a fait avec R1. L’entreprise a pris des modèles ouverts de deux familles existantes, Qwen 2.5 d’Alibaba et Llama de Meta, et les a entraînés sur des exemples de raisonnement générés par R1, environ 800 000 échantillons pour les versions Qwen. Le résultat : six modèles distillés de 1,5 milliard à 70 milliards de paramètres (les nombres ajustables qu’un modèle apprend; plus il y a de paramètres, plus le modèle est généralement performant et exigeant). Ils se comportent comme de petits modèles de raisonnement : avant de répondre, ils écrivent leur réflexion, entourée de balises <think>, puis donnent une réponse finale.

Une installation commentée, étape par étape

1. Installez Ollama. Sur un Mac ou un PC Windows, téléchargez le programme d’installation sur ollama.com et lancez-le. Sous Linux, l’installation en une ligne documentée par le projet est :

curl -fsSL https://ollama.com/install.sh | sh

2. Téléchargez et lancez le modèle. Ouvrez un terminal (Terminal sur un Mac, PowerShell sous Windows) et tapez :

ollama run deepseek-r1

Sans étiquette de taille, Ollama récupère sa version par défaut, le modèle 7B distillé dans Qwen, un téléchargement de 4,7 Go. Une fois terminé, vous obtenez une invite >>> où vous pouvez taper.

3. Posez une question qui demande du raisonnement.

J’ai 3 boîtes. L’une contient seulement des pommes, une autre seulement des oranges, et la dernière un mélange. Les trois étiquettes sont fausses. Je peux prendre un seul fruit dans une seule boîte. Dans quelle boîte dois-je le prendre pour réétiqueter correctement les trois? Donne ta réponse finale en une phrase à la fin.

Vous verrez d’abord défiler le raisonnement du modèle, souvent plusieurs paragraphes, puis la réponse. Lisez la réflexion : elle vous montre comment le modèle a abordé l’énigme, et où il s’est égaré, le cas échéant. Tapez /bye pour quitter la conversation.

4. Gérez vos modèles. Quelques commandes de plus couvrent l’usage courant :

ollama run deepseek-r1:1.5b   # une autre taille : ajoutez une étiquette
ollama list                   # les modèles que vous avez téléchargés
ollama ps                     # les modèles chargés en mémoire
ollama rm deepseek-r1:1.5b    # en supprimer un pour libérer de l'espace disque

Les conseils de DeepSeek pour ces modèles : évitez le prompt système et mettez toutes les consignes dans votre message, utilisez une température (le réglage du hasard) d’environ 0,6 et, en mathématiques, demandez la réponse finale à un endroit clairement indiqué.

Quelle taille convient à votre ordinateur?

La mémoire est le facteur décisif. Un modèle doit tenir dans la mémoire vive de votre ordinateur (ou dans la mémoire d’une carte graphique) pendant qu’il tourne, en laissant de la place pour tout ce que vous avez d’autre d’ouvert. La documentation d’Ollama donne comme règle approximative au moins 8 Go de mémoire vive pour les modèles 7B, 16 Go pour les modèles 13B et 32 Go pour les modèles 33B. Appliquée aux tailles qu’Ollama propose pour R1, cette règle donne le guide approximatif suivant :

La colonne de la mémoire vive est un guide extrapolé à partir de la règle d’Ollama, pas une garantie; la vitesse dépend aussi beaucoup de votre processeur et de votre carte graphique. Sur un portable typique de 8 Go, commencez par 1.5b ou 7b. Avec 16 Go, essayez 14b, qui raisonne nettement mieux sur les problèmes à plusieurs étapes. Les modèles 32b et 70b sont ceux où les versions distillées commencent à approcher la qualité que DeepSeek rapporte pour ses plus grands systèmes, mais ils exigent un poste de travail bien équipé ou un Mac doté de beaucoup de mémoire.

Une façon simple de décider : commencez une taille en dessous de ce que vous croyez pouvoir gérer. Si les réponses arrivent à un rythme de lecture confortable et que votre ordinateur reste réactif, montez d’une taille. Si le ventilateur rugit et que les mots apparaissent un à la fois toutes les quelques secondes, descendez d’une taille. Quel que soit votre choix, rappelez-vous qu’un petit modèle distillé est une version d’apprenti de R1 : bon pour s’exercer, pour des brouillons privés et des énigmes, et moins fiable que le modèle complet sur les questions difficiles.