Qu’est-ce que Llama 3.2, et comment un modèle d’IA peut-il voir des images ou tourner sur un téléphone?

Llama 3.2 est un ensemble de modèles d’IA téléchargeables librement que Meta a lancés le 25 septembre 2024, à sa conférence Connect. Il ajoute les premiers modèles Llama qui comprennent les images (11B et 90B paramètres) et deux petits modèles de texte (1B et 3B) conçus pour tourner directement sur les téléphones et d’autres appareils, ce qui garde vos données sur l’appareil.

Qu’est-ce que Llama 3.2, et comment un modèle d’IA peut-il voir…

Hier, le mercredi 25 septembre 2024, Meta a lancé Llama 3.2 à Meta Connect, sa conférence annuelle pour les développeurs, à Menlo Park, en Californie. Mark Zuckerberg l’a annoncé sur scène. Deux mois après Llama 3.1 et son modèle géant de 405 milliards de paramètres, cette version prend deux autres directions : des modèles capables de regarder des images, et des modèles assez petits pour vivre dans votre téléphone.

Comme les modèles Llama précédents, ceux-ci sont offerts en poids ouverts (open weights) : n’importe qui peut télécharger les fichiers qui constituent le modèle sur llama.com ou Hugging Face, les faire tourner sur son propre matériel et les adapter, selon la licence de Meta.

Ce que Meta a lancé

Llama 3.2 compte quatre tailles, en deux groupes :

Modèle	Taille	Ce qu’il fait	Où il tourne
Llama 3.2 1B	1 milliard de paramètres	Texte seulement : résumer, reformuler, suivre des consignes, appeler des outils	Téléphones et petits appareils
Llama 3.2 3B	3 milliards de paramètres	Mêmes tâches, meilleurs résultats	Téléphones, ordinateurs portables, appareils en périphérie
Llama 3.2 11B Vision	11 milliards de paramètres	Lit les images et le texte ensemble	Un bon ordinateur ou un serveur infonuagique
Llama 3.2 90B Vision	90 milliards de paramètres	Même chose, avec plus de capacités	Serveurs et plateformes infonuagiques

Un paramètre est l’un des nombres internes qu’un modèle ajuste pendant son entraînement; plus de paramètres signifie habituellement plus de connaissances, mais aussi plus de puissance de calcul. Les « appareils en périphérie » (edge devices) sont des machines situées en bordure du réseau, comme des téléphones, des voitures ou des caméras intelligentes, par opposition aux grands centres de données.

Les quatre peuvent travailler avec 128 000 jetons à la fois. TechCrunch, citant Meta, évalue cela à environ 100 000 mots. Les petits modèles sont prêts dès le jour du lancement pour les puces de Qualcomm et de MediaTek, les deux plus grands fabricants de processeurs pour téléphones, et sont optimisés pour Arm, dont les conceptions équipent presque tous les appareils mobiles.

Meta a aussi lancé de nouveaux filtres de sécurité : Llama Guard 3 11B Vision, qui vérifie les prompts combinant texte et images, et Llama Guard 3 1B, un filtre compact réduit de 2 858 Mo à 438 Mo pour pouvoir fonctionner à côté d’un petit modèle. Elle a aussi publié les premières distributions officielles de Llama Stack, des ensembles prêts à l’emploi qui facilitent l’exécution de Llama sur un seul ordinateur, dans le nuage, sur les serveurs d’une entreprise ou sur un appareil.

Comment les modèles de vision voient

Les modèles 11B et 90B peuvent décrire une photo, lire des graphiques et des diagrammes, rédiger des légendes et indiquer où se trouve un objet dans une image. Les exemples de Meta sont pratiques : montrez-lui un graphique des ventes et demandez quel mois a été le meilleur, ou montrez-lui une carte de sentier et demandez où la randonnée devient plus abrupte.

Pour les construire, Meta n’est pas partie de zéro. Elle a pris ses modèles de texte Llama 3.1 et y a greffé un encodeur d’images, un composant qui transforme une image en nombres avec lesquels un modèle peut travailler. Entre les deux, elle a entraîné des couches d’adaptateur qui transmettent au modèle de langage ce que l’encodeur voit. Pendant cet entraînement, Meta a mis à jour l’encodeur et les adaptateurs, mais n’a pas touché aux poids du modèle de langage lui-même.

Pensez à l’embauche d’un interprète pour un expert. L’expert garde toutes ses connaissances; l’interprète décrit ce qu’il y a sur la photo dans des termes que l’expert comprend. Comme la partie langagière n’a pas été modifiée, les modèles de vision peuvent remplacer directement les modèles de texte Llama 3.1 correspondants : tout ce qu’ils pouvaient faire avec du texte, ils le peuvent encore.

Comment les petits modèles sont devenus petits

Pour les modèles 1B et 3B, Meta a appliqué deux techniques à ses modèles plus grands :

L’élagage. Elle est partie de Llama 3.1 8B et a retiré des parties du réseau en conservant le plus possible de ses capacités, comme on raccourcit un long livre en gardant l’intrigue.
La distillation. Elle a ensuite entraîné les petits modèles en prenant comme cibles les réponses de Llama 3.1 8B et 70B. Les grands modèles jouent le rôle d’enseignants; les petits apprennent à les imiter.

Faire tourner un modèle sur l’appareil présente deux avantages clairs, selon Meta. Les réponses peuvent sembler instantanées, parce que rien ne fait l’aller-retour vers un serveur. Et vos messages, votre agenda et vos notes restent sur votre téléphone. L’exemple de Meta est un assistant qui résume vos dix derniers messages, en extrait les tâches à faire et utilise un outil d’agenda pour envoyer des invitations de suivi, le tout localement.

Pourquoi c’est important cette semaine

Pour les développeurs, Llama 3.2 comble deux lacunes : un modèle ouvert qui comprend les images, et des modèles performants assez petits pour des applications qui doivent fonctionner hors ligne ou protéger des données privées. Meta compare ses modèles de vision à Claude 3 Haiku et à GPT-4o mini pour les tâches liées aux images, et affirme que le modèle 3B surpasse Gemma 2 2.6B de Google et Phi 3.5-mini de Microsoft pour des tâches comme suivre des consignes, résumer et utiliser des outils.

Il y a une exception notable. TechCrunch rapporte que les modèles de vision 11B et 90B ne sont pas offerts dans l’Union européenne, où Meta invoque un environnement réglementaire imprévisible; les modèles 1B et 3B y sont lancés comme partout ailleurs. Comme pour les versions précédentes, les plateformes de plus de 700 millions d’utilisateurs par mois ont besoin d’une licence particulière de Meta.

À essayer : faites une capture d’écran d’un graphique simple, comme vos dépenses mensuelles ou votre nombre de pas, et demandez à un assistant IA qui accepte les images : « Quel mois a été le plus élevé, et de combien? » Vérifiez vous-même sa réponse à l’aide des chiffres.

Comment essayer Llama 3.2 dès aujourd’hui?

La façon la plus rapide d’essayer les modèles de vision est Meta AI, l’assistant de Meta dans WhatsApp, Instagram et Facebook, qui les utilise maintenant, hors de l’UE. Vous pouvez y partager une photo et poser des questions à son sujet.

Si vous voulez faire tourner un modèle vous-même, commencez par Llama 3.2 3B ou 1B. La distribution Llama Stack de Meta pour un seul ordinateur fonctionne avec Ollama, un outil gratuit pour télécharger et faire tourner des modèles sur votre propre ordinateur. Les petits modèles conviennent bien à des tâches privées comme mettre de l’ordre dans des notes :

Prompt

Réécris ces notes de réunion sous forme d’une courte liste de tâches à faire, chacune avec un responsable et une échéance si elle est mentionnée. N’ajoute rien qui ne figure pas dans les notes.

[colle les notes ici]

Les développeurs peuvent télécharger les quatre modèles sur llama.com ou Hugging Face, ou les utiliser sur des plateformes infonuagiques comme AWS, Google Cloud et Microsoft Azure. Pour les modèles de vision, testez-les sur vos propres images, et vérifiez les détails comme les chiffres d’un graphique, que n’importe quel modèle peut mal lire.