Comment télécharger et faire tourner un modèle de Hugging Face dans LM Studio?

Hugging Face est la plus grande bibliothèque publique de modèles d’IA : des entreprises et des chercheurs y déposent leurs modèles, et n’importe qui peut télécharger ceux qui sont ouverts. LM Studio est une application de bureau qui fait tourner ces modèles sur votre propre ordinateur, avec une fenêtre de clavardage qui ressemble beaucoup à celle de ChatGPT. Les deux vont ensemble : LM Studio a un outil de téléchargement intégré qui cherche dans Hugging Face pour vous.

Faire tourner un modèle localement veut dire que vos prompts et vos documents ne quittent jamais la machine, et que le modèle continue de fonctionner sans connexion Internet. La contrepartie, c’est que votre ordinateur fait tout le travail : la taille du modèle que vous pouvez faire tourner dépend donc de votre mémoire.

Le vocabulaire nécessaire

Les paramètres sont les nombres qu’un modèle a appris pendant son entraînement. Un modèle « 8B » en compte environ 8 milliards. Plus de paramètres veut généralement dire un modèle plus performant qui demande plus de mémoire.

GGUF est un format de fichier conçu pour se charger rapidement et tourner efficacement sur du matériel ordinaire. Il a été créé par le développeur de llama.cpp, le moteur derrière de nombreuses applications d’IA locales. Un fichier GGUF contient le modèle lui-même ainsi qu’un bloc standard d’information à son sujet, comme son nom et la façon de mettre en forme les prompts.

La quantification enregistre chaque paramètre avec moins de bits, comme on peut enregistrer une photo en qualité inférieure pour obtenir un fichier plus petit. Dans les noms de fichiers, elle apparaît sous forme de codes comme Q8_0, Q4_K_M ou Q2_K : le chiffre après le Q correspond à peu près au nombre de bits par paramètre. La documentation de LM Studio les décrit comme des copies du même modèle à différents niveaux de fidélité.

Exemple concret : Llama 3 8B Instruct

Ce pas-à-pas utilise Llama 3 8B Instruct de Meta, publié en format GGUF par le compte communautaire de LM Studio lui-même. Avec 8 milliards de paramètres, c’est l’un des plus petits modèles qui se débrouillent encore bien avec les questions de tous les jours, selon sa fiche technique.

1. Installez LM Studio à partir de lmstudio.ai et ouvrez-le.
2. Ouvrez l’onglet Discover, ou appuyez sur Cmd+2 sur un Mac ou sur Ctrl+2 sous Windows et Linux.
3. Cherchez. Tapez lmstudio-community llama 3 8b instruct. Vous pouvez aussi chercher un nom exact sous la forme user/model, ou coller une adresse Hugging Face complète comme https://huggingface.co/lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF.
4. Choisissez un fichier. La page du modèle propose plusieurs options de téléchargement. Choisissez un fichier à 4 bits comme Q4_K_M pour un premier essai; le tableau plus bas indique la taille approximative de chaque option.
5. Téléchargez-le et attendez la fin du téléchargement. Les modèles sont stockés dans un dossier que vous pouvez changer à partir de l’onglet My Models.
6. Chargez-le et clavardez. Chargez en mémoire le modèle téléchargé à partir de la vue de clavardage et envoyez un message. La fiche technique du modèle recommande le préréglage « Llama 3 » de LM Studio, qui met vos messages en forme comme le modèle s’y attend.

Testez-le ensuite avec une demande qui montre ce qu’un petit modèle local peut faire et ne pas faire :

Tu es un assistant serviable. En cinq puces, explique le fonctionnement d’une thermopompe à quelqu’un qui n’a aucune formation technique. Dis-moi ensuite une chose au sujet des thermopompes dont tu n’es pas sûr.

Si la réponse arrive à une vitesse de lecture confortable, le modèle convient à votre machine. S’il se traîne, essayez une quantification plus petite ou un modèle plus petit.

Comment choisir le bon format de fichier et la bonne taille?

D’abord le format. L’outil de téléchargement de LM Studio affiche les fichiers qu’il peut faire tourner, et pour la plupart des ordinateurs, ce sont des fichiers GGUF. Sur Hugging Face, vous pouvez afficher tous les modèles qui ont des fichiers GGUF grâce au filtre GGUF, à l’adresse hf.co/models?library=gguf, et le site offre un visualiseur qui montre les détails de chaque fichier avant que vous le téléchargiez. Si le modèle que vous voulez n’a pas de version GGUF, cherchez-en une convertie par son créateur ou par un compte communautaire bien connu.

Ensuite la taille. Le fichier doit tenir dans la mémoire de votre ordinateur, avec de la marge pour l’application, la conversation et tout ce que vous avez d’autre d’ouvert. Vous pouvez estimer la taille d’un fichier quantifié à partir du nombre de paramètres et du nombre de bits par poids indiqué dans la documentation GGUF de Hugging Face. Pour un modèle de 8 milliards de paramètres, l’estimation en gigaoctets est proche du nombre de bits par poids :

Ce sont des estimations tirées d’un calcul simple (paramètres × bits ÷ 8); les vrais fichiers sont un peu plus gros ou plus petits, parce que certaines parties d’un modèle sont stockées avec une plus grande précision.

LM Studio recommande de rester à 4 bits ou plus chaque fois que votre ordinateur le permet. Une règle pratique : commencez par Q4_K_M; montez à Q5 ou Q6 si vous avez de la mémoire en trop; descendez à Q3 seulement si Q4 refuse de se charger. Quand vous hésitez entre deux modèles de tailles différentes, passez les mêmes quelques prompts dans les deux plutôt que de vous fier à la taille seule : vos propres tâches sont le meilleur test.