À quoi servent les petits modèles de Llama 3.2?

Quand Meta a lancé Llama 3.2, le 25 septembre, la plus grande part de l’attention est allée à ses nouveaux modèles de vision. Les deux plus petits membres de la famille méritent pourtant qu’on s’y attarde, parce qu’ils changent les endroits où un modèle de langage peut tourner. Les modèles 1B et 3B (1 et 3 milliards de paramètres, les nombres qu’un modèle ajuste pendant son entraînement) sont assez petits pour un ordinateur portable, un onglet de navigateur et, avec un peu d’effort, un téléphone.

Petit ne veut pas dire polyvalent. Ces modèles ont été obtenus en prenant le modèle Llama 3.1 8B, plus grand, en l’élaguant (en retirant les parties qui contribuent le moins), puis en entraînant le résultat réduit à imiter les sorties des modèles 8B et 70B, une technique appelée distillation. Le résultat est un modèle qui conserve une quantité étonnante de compétences langagières dans un format compact, mais avec beaucoup moins de connaissances emmagasinées sur le monde.

Ce qu’ils font bien

Meta destine les petits modèles au travail sur l’appareil : résumer, suivre des consignes et reformuler du texte localement. Hugging Face ajoute à la liste la reformulation de prompts, la recherche multilingue, l’utilisation d’outils et les assistants locaux. Les deux petits modèles peuvent appeler des outils, c’est-à-dire produire une demande structurée sur laquelle votre application agit, comme « créer un événement dans l’agenda ». Sur IFEval, un test qui mesure à quel point un modèle suit les consignes, Hugging Face rapporte que le modèle 3B égale Llama 3.1 8B.

L’exemple de Meta donne une idée du genre : une application qui lit vos dix derniers messages, les résume, en extrait les tâches à faire et envoie des invitations d’agenda pour des réunions de suivi, le tout sur l’appareil. Rester en local procure deux avantages. Les réponses peuvent sembler presque instantanées parce que rien ne transite par le réseau, et les données privées comme les messages et l’agenda ne vous quittent jamais.

Les deux modèles acceptent jusqu’à 128 000 jetons de contexte (les jetons sont les morceaux de mots qu’un modèle lit) : un long fil de courriels ou un rapport tient donc dans une seule requête. En pratique, un petit modèle traite une longue entrée de façon moins fiable qu’un grand; les demandes courtes et ciblées donnent donc les meilleurs résultats.

Un exemple concret : quelles tâches confier à un petit modèle

Voici comment un modèle 3B qui tourne localement pourrait s’intégrer à la journée d’un petit bureau. Les évaluations sont des indications données à titre d’exemple, pas des résultats de bancs d’essai.

La règle : fournissez le matériel à un petit modèle et demandez-lui de le transformer. Ne lui demandez pas de fournir des faits de mémoire.

Si vous avez un ordinateur Mac ou Linux, vous pouvez l’essayer dès aujourd’hui avec llama.cpp, un programme à code source ouvert pour faire tourner des modèles localement. Le billet de lancement de Hugging Face montre comment l’installer avec Homebrew et télécharger un modèle 3B compressé en une seule commande :

brew install llama.cpp
llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF \
  --hf-file llama-3.2-3b-instruct-q8_0.gguf \
  -p "Summarize these meeting notes as a to-do list with owners: ..."

La licence et où vous pouvez les utiliser

Les modèles se téléchargent gratuitement sur llama.com et Hugging Face, selon la licence Llama de Meta. Les services de plus de 700 millions d’utilisateurs par mois ont besoin d’une licence distincte de Meta. Il y a aussi une particularité régionale : la licence n’accorde pas de droits sur les modèles de vision multimodaux aux personnes ou entreprises établies dans l’Union européenne, mais les modèles de texte 1B et 3B y sont offerts, comme partout ailleurs.

Peut-on en faire tourner un sur un téléphone?

Oui, et c’est ce pour quoi ils ont été conçus, mais au début d’octobre, c’est surtout un projet de développeur plutôt qu’un téléchargement dans la boutique d’applications. Meta a travaillé avec Qualcomm et MediaTek, les deux plus grands fabricants de puces pour téléphones, pour que les modèles tournent sur leur matériel dès le premier jour, et les a optimisés pour les processeurs Arm, qui équipent presque tous les appareils mobiles. Sa trousse d’outils pour les appareils est PyTorch ExecuTorch, et Meta a présenté une démonstration qui tournait sur iOS.

La mémoire est la principale contrainte. Selon Hugging Face, le modèle 3B a besoin d’environ 6,5 Go en pleine précision 16 bits, mais d’environ 1,75 Go seulement une fois compressé en nombres de 4 bits, un procédé appelé quantification. Le modèle 1B descend à environ 0,75 Go. Ces tailles réduites tiennent sans peine dans bien des téléphones et ordinateurs portables récents. Les poids publiés par Meta utilisent une précision de 16 bits, et l’entreprise affirme travailler à des versions quantifiées officielles qui tourneront plus vite; des versions compressées faites par la communauté sont déjà offertes pour llama.cpp.

Si vous voulez voir un petit modèle tourner sur un appareil sans créer d’application, Hugging Face renvoie à une démonstration du modèle 3B qui tourne dans un navigateur Web grâce à WebGPU, une façon pour les pages Web d’utiliser votre puce graphique. Sur un ordinateur doté d’un navigateur récent qui prend en charge WebGPU, c’est le moyen le plus rapide de juger si la vitesse et la qualité conviennent à ce que vous avez en tête.