xAI vient de publier les poids de Grok-1. Qu’est-ce que ça veut dire, et pouvez-vous les utiliser?

Hier, le dimanche 17 mars 2024, l’entreprise d’IA d’Elon Musk, xAI, a publié les poids de Grok-1, le grand modèle de langage qu’elle a bâti pour son robot conversationnel Grok. Les poids sont les milliards de nombres qu’un modèle apprend pendant l’entraînement; en pratique, ils sont le modèle lui-même. Tout le monde peut maintenant les télécharger, les étudier et bâtir dessus, y compris pour des produits commerciaux.

Musk avait dit sur X la semaine précédente que xAI ouvrirait Grok au cours de cette semaine, et l’entreprise a tenu parole dimanche avec un court billet de blogue et un dépôt de code public. Avec 314 milliards de paramètres, c’est un très gros modèle à remettre au public.

Ce que xAI a publié, et où

L’annonce a pris la forme d’un bref billet sur le blogue de xAI intitulé Open Release of Grok-1, daté du 17 mars. Il renvoie à un dépôt GitHub, xai-org/grok-1, où se trouvent les fichiers et les instructions. Voici ce que contient le paquet et ce qu’il laisse de côté :

Les poids sont partagés par torrent, une façon de télécharger de gros fichiers en morceaux depuis de nombreux ordinateurs à la fois, à l’aide d’un « lien magnet » indiqué dans le dépôt.

TechCrunch note que le robot conversationnel Grok sur X, lancé l’an dernier pour les abonnés Premium+, peut puiser dans les publications du réseau social. Le modèle ouvert n’a rien de tout cela : c’est le moteur de langage seul.

Comment Grok-1 fonctionne, en termes simples

Trois idées expliquent l’essentiel de ce que contient la publication.

Les paramètres. Grok-1 en compte 314 milliards. Un paramètre est un nombre ajustable à l’intérieur du réseau, réglé pendant l’entraînement pour que le modèle prédise de mieux en mieux le mot suivant. Plus de paramètres veut généralement dire plus de capacité à retenir des régularités sur la langue et le monde, mais aussi plus de mémoire et de puissance de calcul pour le faire tourner.

Le mélange d’experts. Grok-1 n’utilise pas ses 314 milliards de paramètres pour chaque mot. C’est un modèle à mélange d’experts (Mixture-of-Experts, ou MoE) : des parties du réseau sont divisées en sous-réseaux spécialisés, appelés experts, et un petit composant d’aiguillage choisit lesquels traitent chaque jeton (un mot ou un morceau de mot). xAI dit qu’environ 25 % des poids sont actifs pour un jeton donné. Une bonne image est celle d’un grand hôpital : chaque patient voit quelques spécialistes, pas tout le personnel, ce qui rend chaque visite plus rapide que si on consultait tout le monde.

Le modèle de base. C’est le point de contrôle brut de la fin du préentraînement, la première et la plus grande phase d’entraînement, pendant laquelle un modèle lit d’énormes quantités de texte et apprend à le poursuivre. xAI dit que cette phase s’est terminée en octobre 2023 et que le modèle n’a subi d’ajustement fin pour aucun usage, dialogue compris. Un modèle de base est bon pour poursuivre un texte, pas pour suivre des consignes. Posez-lui une question, et il pourrait simplement écrire d’autres questions, parce que c’est une suite plausible.

Vous pouvez voir la différence dans la façon dont vous parleriez à chaque type de modèle :

Style modèle conversationnel : « Explique la photosynthèse à un enfant de 10 ans. »
Style modèle de base :         « La photosynthèse expliquée aux enfants, en trois courts paragraphes.
                                Paragraphe 1 : Les plantes sont comme de petites cuisines. »

Le modèle de base fonctionne mieux quand vous commencez le texte que vous voulez et le laissez continuer.

La licence, et pourquoi elle compte

Les poids et le code sont publiés sous Apache 2.0, une licence de code source ouvert courante. Elle permet à tout le monde d’utiliser, de modifier et de redistribuer le logiciel, y compris dans des produits payants, à condition de conserver les avis de licence et de droit d’auteur. TechCrunch souligne que cela permet un usage commercial sans demander la permission à xAI.

Les modèles ouverts ne sont plus rares. TechCrunch cite LLaMA de Meta, Mistral, Falcon et des modèles de l’Allen Institute for AI (AI2), et Google a lancé deux modèles ouverts Gemma en février. Grok-1 se joint à ce groupe du côté des plus gros, avec l’une des licences les plus simples à respecter.

Pourquoi c’est important cette semaine

Pour les chercheurs, un modèle de cette taille à poids ouverts est un objet d’étude : comment ses experts se partagent le travail, comment il se compare aux autres modèles ouverts et comment il réagit à un entraînement supplémentaire. Comme c’est un modèle de base, c’est aussi un point de départ. Des entreprises peuvent lui faire subir un ajustement fin, c’est-à-dire poursuivre son entraînement sur leurs propres exemples, pour en faire un assistant conversationnel, un outil d’aide à la recherche ou un outil spécialisé. TechCrunch rapporte qu’Aravind Srinivas, PDG de l’entreprise de recherche Perplexity, a déjà dit sur X que son équipe prévoit d’ajuster Grok pour la recherche conversationnelle.

La publication arrive aussi au milieu d’une querelle publique. Musk a poursuivi OpenAI plus tôt ce mois-ci, l’accusant d’avoir abandonné sa mission d’organisme sans but lucratif, et il critique l’entreprise sur X depuis. Publier les poids de Grok-1 permet à xAI de mettre en avant sa propre ouverture. Cette ouverture a ses limites, comme le souligne la manchette de TechCrunch : il n’y a ni code d’entraînement ni données, de sorte que des tiers peuvent utiliser le modèle, mais pas reproduire la façon dont il a été fait.

Pouvez-vous faire tourner Grok-1 vous-même, et de quoi auriez-vous besoin?

En principe, oui; en pratique, la plupart des gens ne le peuvent pas sur un ordinateur personnel. Les instructions du dépôt sont courtes : téléchargez le point de contrôle avec un client torrent, placez le dossier nommé ckpt-0 dans le répertoire checkpoints, installez les paquets Python indiqués et lancez un script appelé run.py, qui charge le modèle et génère du texte à partir d’une entrée de test. Le hic, c’est la taille. Le README prévient qu’avec 314 milliards de paramètres, tester le modèle exige une machine dotée de beaucoup de mémoire GPU, c’est-à-dire la mémoire des processeurs graphiques, les puces qui font tourner les modèles d’IA. Cela signifie du matériel de classe serveur ou des machines louées dans le nuage, pas un portable.

xAI dit aussi que son code d’exemple traite la couche de mélange d’experts de façon simple et peu efficace, choisie pour vérifier que le modèle fonctionne correctement plutôt que pour le faire tourner vite. Attendez-vous à voir apparaître des projets communautaires qui l’allègent ou l’accélèrent, comme ce fut le cas pour d’autres modèles ouverts.

Si vous voulez simplement parler à Grok, les poids ouverts ne sont pas la bonne voie : c’est le robot conversationnel sur X. Si vous êtes développeur ou étudiant et curieux de savoir comment les grands modèles sont bâtis, le dépôt est un bon endroit pour lire du vrai code de modèle, même si vous ne téléchargez jamais les poids.