Qu’est-ce que Llama 3, et qu’est-ce qui change pour Meta AI?

Hier, jeudi 18 avril 2024, Meta a publié Llama 3, la troisième génération de ses grands modèles de langage offerts ouvertement. Un grand modèle de langage est un programme entraîné sur d’énormes quantités de texte pour prédire et écrire du langage; « offert ouvertement » signifie que n’importe qui peut télécharger le modèle entraîné et le faire tourner sur ses propres ordinateurs, dans le respect des conditions de la licence de Meta.

Meta a fait deux annonces à la fois. Sur son blogue d’IA, elle a publié les deux premiers modèles Llama 3 pour les développeurs et les chercheurs. Dans sa salle de presse, elle a expliqué que Meta AI, l’assistant gratuit intégré à ses applications, fonctionne maintenant avec Llama 3 et rejoint plus de gens. L’une vise les concepteurs, l’autre les utilisateurs de tous les jours, et les deux partagent le même moteur.

Ce que Meta a publié

Les premiers modèles Llama 3 existent en deux tailles, chacune en deux versions :

Un paramètre est l’un des nombres ajustables à l’intérieur d’un modèle, fixés pendant l’entraînement. Un modèle préentraîné a appris à poursuivre un texte; un modèle ajusté aux instructions a reçu un entraînement supplémentaire pour suivre des demandes et tenir une conversation; c’est donc la version que la plupart des gens veulent pour un assistant conversationnel.

Meta les présente comme les premiers modèles de la collection Llama 3. L’entreprise dit que des modèles plus grands, de plus de 400 milliards de paramètres, sont encore en entraînement, et qu’au cours des prochains mois, elle prévoit d’ajouter la capacité de traiter des images en plus du texte, davantage de langues, une plus longue mémoire pour chaque conversation et un article de recherche. Les modèles publiés ne traitent que du texte et, note TechCrunch, sont ajustés pour produire des réponses en anglais.

Comment Llama 3 a été construit

Meta dit avoir gardé une conception d’ensemble simple et avoir mis l’essentiel de ses efforts dans les données et l’entraînement. Quatre changements ressortent.

Plus de données. Llama 3 a appris à partir de plus de 15 000 milliards de jetons, les petits morceaux de texte qu’un modèle lit (souvent un mot ou une partie de mot). C’est environ sept fois les données utilisées pour Llama 2, avec quatre fois plus de code informatique. TechCrunch l’évalue à environ 750 milliards de mots. Meta dit que les données proviennent de sources accessibles publiquement, mais ne les énumère pas. Un peu plus de 5 % sont dans d’autres langues que l’anglais, plus de 30 langues en tout.

Un vocabulaire plus grand. Le segmenteur (tokenizer), l’outil qui découpe le texte en jetons, connaît maintenant 128 000 morceaux différents. Un plus grand vocabulaire signifie que les mots et les expressions courants tiennent en moins de jetons. Meta dit que le même texte prend jusqu’à 15 % moins de jetons qu’avec Llama 2; le modèle peut donc le traiter plus efficacement.

Un entraînement bien au-delà du point habituel. Les chercheurs estiment souvent la quantité de données dont un modèle d’une taille donnée « a besoin ». Meta rapporte que son modèle 8B a continué de s’améliorer bien au-delà de cette estimation, jusqu’à 15 000 milliards de jetons. L’entraînement s’est fait sur deux grappes conçues sur mesure de 24 000 GPU chacune, les puces graphiques utilisées pour l’IA.

Un meilleur ajustement. Pour transformer les modèles préentraînés en assistants, Meta a combiné plusieurs méthodes. En termes simples : montrer au modèle de bons exemples de réponses, lui faire produire plusieurs réponses et garder la meilleure, et lui enseigner à partir de classements faits par des humains sur la réponse la meilleure. Meta dit que cela a réduit les faux refus, les cas où un modèle décline une demande inoffensive, et amélioré le raisonnement et la programmation.

Comment il se compare

Meta a comparé Llama 3 à d’autres modèles sur des tests standards. Selon la lecture que fait TechCrunch des chiffres de Meta, Llama 3 8B bat deux autres petits modèles ouverts, Mistral 7B et Gemma 7B de Google, sur au moins neuf bancs d’essai, parfois par quelques points seulement. Meta dit que Llama 3 70B bat Gemini 1.5 Pro de Google sur trois tests et Claude 3 Sonnet d’Anthropic sur cinq, mais pas le meilleur modèle d’Anthropic, Claude 3 Opus.

Meta a aussi créé son propre ensemble de 1 800 prompts de test couvrant 12 tâches courantes, comme le remue-méninges, la programmation et la rédaction de résumés, et affirme que ses équipes de modélisation ne peuvent pas le voir. Des évaluateurs humains ont préféré les réponses de Llama 3 70B à celles de GPT-3.5, de Mistral Medium et de Claude Sonnet. TechCrunch souligne, avec raison, que le test maison d’une entreprise mérite une certaine prudence.

Ce qui change pour Meta AI

Meta AI, annoncé pour la première fois l’an dernier à la conférence Connect de Meta, fonctionne maintenant avec Llama 3. Meta dit le déployer en anglais dans plus d’une dizaine de pays hors des États-Unis, dont l’Australie, le Canada, la Nouvelle-Zélande, le Nigeria, le Pakistan, Singapour et l’Afrique du Sud. Il apparaît dans la barre de recherche de Facebook, d’Instagram, de WhatsApp et de Messenger, où il peut aller chercher de l’information à jour sur le Web, et dans le fil Facebook, où vous pouvez poser une question sur une publication. Un nouveau site Web, meta.ai, offre l’assistant sur ordinateur, et la connexion permet d’enregistrer vos conversations.

La génération d’images devient aussi plus rapide. Avec la fonction Imagine, déployée en version bêta sur WhatsApp et meta.ai aux États-Unis, une image apparaît pendant que vous tapez et change à mesure que vous ajoutez des mots.

Pourquoi c’est important

Pour les concepteurs, Llama 3 relève la barre des modèles que l’on peut télécharger et faire tourner soi-même. Un modèle solide de la catégorie des 8 milliards de paramètres coûte beaucoup moins cher à faire tourner qu’un modèle géant, ce qui compte pour quiconque veut garder ses données sur ses propres machines. Meta dit que les modèles seront bientôt offerts sur les grandes plateformes infonuagiques, dont AWS, Google Cloud, Microsoft Azure et Hugging Face.

Il y a des conditions. TechCrunch note que la licence de Meta interdit d’utiliser Llama pour entraîner d’autres modèles d’IA, et que les services comptant plus de 700 millions d’utilisateurs par mois ont besoin de la permission de Meta; c’est pourquoi beaucoup qualifient Llama d’« ouvert » plutôt que de « code source ouvert ». Meta fournit aussi des outils de sécurité : Llama Guard 2 pour filtrer les prompts et les réponses, CyberSec Eval 2 pour tester les risques de sécurité, et Code Shield pour repérer le code non sécuritaire qu’écrit un modèle.

Pour tous les autres, le changement est plus discret : beaucoup de gens rencontreront Llama 3 sans le savoir, par la barre de recherche d’une application qu’ils utilisent déjà.

J’ai du poulet, du riz, un citron et des épinards. Suggère-moi un souper que je peux préparer en 30 minutes, avec des étapes numérotées et les quantités pour deux personnes.

Comment essayer Llama 3 dès aujourd’hui?

Le chemin le plus simple est Meta AI. Si vous habitez aux États-Unis ou dans l’un des pays nouvellement ajoutés, ouvrez la barre de recherche de Facebook, d’Instagram, de WhatsApp ou de Messenger, ou allez à meta.ai dans un navigateur. Posez une question en langage courant; connectez-vous sur meta.ai si vous voulez enregistrer vos conversations. Rappelez-vous qu’il peut encore se tromper; vérifiez donc les faits importants.

Si vous créez des logiciels, vous pouvez télécharger les modèles à partir du site Web de Llama 3, selon les conditions de la licence de Meta, et le guide de démarrage de Meta énumère les plateformes qui les hébergent. Commencez par Llama 3 8B Instruct : c’est le plus facile à faire tourner et un bon moyen de vérifier si le modèle convient à votre tâche avant de payer pour du matériel plus puissant.