Que sont les petits modèles de langage, et quand suffisent-ils?

Quand on parle de la « taille » d’un modèle de langage, on parle généralement de son nombre de paramètres : les nombres ajustables qu’un modèle règle pendant son entraînement. Les modèles derrière ChatGPT sont très grands et tournent dans des centres de données. Un petit modèle de langage, souvent abrégé SLM (de l’anglais small language model), n’a que quelques milliards de paramètres. Il est donc peu coûteux à faire tourner, rapide à répondre et assez petit pour fonctionner sur du matériel ordinaire, parfois sans aucune connexion Internet.

Deux familles récentes montrent la direction que prend ce domaine. En février, Google a publié Gemma, des modèles ouverts de 2 milliards et de 7 milliards de paramètres construits à partir des recherches derrière Gemini, qui peuvent selon Google fonctionner sur un portable ou un poste de travail. Le 23 avril, Microsoft a présenté Phi-3. Son premier membre, Phi-3-mini, compte 3,8 milliards de paramètres et peut être téléchargé à partir de Hugging Face ou exécuté avec Ollama, un programme gratuit pour faire tourner des modèles sur votre propre ordinateur. Microsoft affirme que deux versions plus grandes, Phi-3-small (7 milliards) et Phi-3-medium (14 milliards), arriveront au cours des prochaines semaines.

Pourquoi les petits modèles se sont améliorés

Le rapport technique de Phi-3 en attribue le mérite aux données d’entraînement plutôt qu’à la taille. L’équipe a utilisé des pages Web filtrées rigoureusement selon leur qualité, ainsi que des données synthétiques, c’est-à-dire du texte généré exprès pour enseigner au modèle. Phi-3-mini a été entraîné sur 3 300 milliards de jetons (les morceaux de mots que lisent les modèles) et obtient 69 % à MMLU, un vaste test à choix multiples de connaissances et de raisonnement. Les auteurs comparent ce résultat à ceux de GPT-3.5 et de Mixtral 8x7B, un modèle ouvert beaucoup plus grand. Les bancs d’essai ne sont que des repères approximatifs, mais la tendance est claire : un modèle que vous pouvez faire tourner chez vous gère maintenant bien des tâches linguistiques courantes.

Le même rapport est honnête quant au point faible. Un petit modèle a moins de place pour stocker des faits; Phi-3-mini obtient donc de faibles résultats à TriviaQA, un test de questions de culture générale, et Microsoft répète cette mise en garde dans son annonce. Les auteurs suggèrent de jumeler le modèle à un moteur de recherche pour combler cette lacune. Ils notent aussi qu’il a été conçu surtout pour l’anglais.

Quand un petit modèle suffit-il?

Une règle pratique utile : les petits modèles sont bons pour travailler sur le texte que vous leur donnez et faibles pour savoir ce que vous ne leur donnez pas. La liste des bons usages de Microsoft va dans le même sens. Elle cite les appareils à la puissance de calcul limitée ou sans connexion, les situations où une réponse rapide compte le plus et les tâches plus simples où le coût est la principale préoccupation.

Ces verdicts sont des repères généraux, pas des résultats mesurés. Votre propre tâche est le seul test qui compte.

Il y a aussi la question de la vie privée. Quand un modèle tourne sur votre ordinateur, le texte que vous y collez est traité sur place au lieu d’être envoyé aux serveurs d’une entreprise. Pour des ébauches qui contiennent des détails sur des clients ou sur votre famille, cela peut compter autant que la qualité.

Un test concret : petit modèle contre grand modèle

La façon la plus juste de trancher est de donner la même vraie tâche à un petit modèle et à un grand, puis de noter les deux. Voici un prompt qui fonctionne bien pour ce genre de comparaison :

Voici le courriel d’un client. Énumère chaque date, chaque montant et chaque action à faire qu’il contient.
Réponds sous forme de tableau à trois colonnes : Élément, Détail, Responsable.
Si une information n’est pas indiquée, écris « non indiqué ». N’ajoute rien qui ne figure pas dans le courriel.

[colle le courriel ici]

1. Installez Ollama, ouvrez un terminal et tapez ollama run phi3. La première exécution télécharge Phi-3-mini; ensuite, vous pouvez clavarder avec lui hors ligne.
2. Collez le prompt avec un vrai courriel tiré de votre travail.
3. Envoyez le même prompt à un grand modèle hébergé, comme GPT-4o dans ChatGPT. Utilisez pour cette étape un courriel sans détails privés, puisqu’il quitte votre ordinateur.
4. Notez chaque réponse en trois colonnes : éléments trouvés correctement, éléments manqués, éléments inventés.

Un résultat pourrait ressembler à ceci (à titre d’illustration) : le petit modèle trouve 9 éléments sur 10 et n’en invente aucun; le grand les trouve tous les 10. Si 9 sur 10 est acceptable parce que vous relisez le tableau de toute façon, le petit modèle suffit pour ce travail, et il ne coûte rien par message. Si un seul oubli cause de vrais ennuis, gardez le grand modèle.

Un petit modèle peut-il fonctionner sur votre téléphone?

Oui, du moins lors de tests. Le rapport sur Phi-3 décrit la compression de Phi-3-mini par quantification, une technique qui stocke chaque paramètre avec moins de bits pour que le modèle ait besoin de moins de mémoire, au prix d’une légère perte d’exactitude. À 4 bits, le modèle occupe environ 1,8 Go de mémoire. L’équipe l’a fait tourner sur un iPhone 14 doté de la puce A16 Bionic d’Apple, entièrement sur l’appareil et hors ligne, à plus de 12 jetons par seconde.

C’est une démonstration de recherche, pas une application que vous pouvez télécharger aujourd’hui. Pour l’instant, un petit modèle sur un téléphone arrive généralement à l’intérieur d’une application créée par un développeur. Microsoft indique que Phi-3-mini est optimisé pour ONNX Runtime, un outil qui permet au même modèle de tourner sur des processeurs ordinaires, des puces graphiques et du matériel mobile, soit le genre de fondations dont ces applications ont besoin.

Quand les petits modèles arriveront sur les téléphones, attendez-vous au même compromis que celui décrit plus haut. Vous gagnez en confidentialité, en usage hors ligne et en vitesse. Vous devez quand même vérifier tout fait que le modèle énonce de mémoire, et un grand modèle dans le nuage reste le meilleur choix pour les questions difficiles et ouvertes.