Comment se comparent Apertus, OLMo, SEA-LION et BLOOM?

On emploie « ouvert » et « public » comme s’ils voulaient dire la même chose. Ce n’est pas le cas. Un modèle peut être ouvert mais gouverné par un organisme privé, ou public mais bâti sur la base d’une entreprise. Comparer ces quatre projets est le moyen le plus rapide de voir la différence et d’en choisir un pour un vrai travail.

Trois questions distinctes permettent de les départager. Qui le contrôle? Une institution publique, un organisme sans but lucratif ou une collaboration de bénévoles. Qu’est-ce qui est publié? Seulement les poids finaux, ou aussi les données et le code d’entraînement. Que pouvez-vous en faire? Cela dépend de la licence.

Les quatre côte à côte

« G » signifie milliard. Les tailles décrivent des modèles de types différents et ne constituent donc pas une note. Les modèles SEA-LION de 30 G et de 120 G sont à mélange d’experts (mixture-of-experts) : seule une partie du modèle s’active pour chaque jeton (3 G et 12 G d’après leur nom). Un plus grand nombre ne veut donc pas dire un modèle plus lent ou meilleur.

À quoi sert chacun

Apertus est le cas le plus net d’IA publique : institutions publiques, calcul public et ce que l’équipe présente comme une transparence complète. La mise à jour 1.5, selon l’annonce de Public AI, ajoute les images, un raisonnement facultatif, une fenêtre de contexte de 262 144 jetons et une meilleure utilisation des outils. La même annonce promet un rapport technique plus tard, de sorte que les résultats indépendants pour la 1.5 restent rares. Bruce Schneier et Nathan Sanders, partisans de l’IA publique, le qualifient de modèle public le plus avancé au monde et notent qu’il a à peu près la taille de la génération commerciale de 2023.

OLMo est le choix des chercheurs. Ai2 appelle son approche le model flow (le flux du modèle) : tout le parcours, des données aux poids finaux, est publié, ce qui permet de remonter d’un comportement aux décisions d’entraînement qui l’expliquent. Olmo 3 existe en tailles de 7 G et de 32 G, qui selon Ai2 tournent tant sur un portable que sur une grappe de recherche, et Ai2 a publié en mars Olmo Hybrid, une expérience de 7 G qui mêle l’attention des transformers à des couches récurrentes. Ai2 n’est toutefois pas un organisme gouvernemental. Schneier et Sanders soulignent qu’il compte sur des partenaires d’entreprise pour le calcul et qu’il n’est pas sous contrôle public. Et malgré la licence Apache 2.0, la fiche technique présente ces modèles comme destinés à la recherche et à l’enseignement.

SEA-LION règle un problème pratique que les grands laboratoires servent mal : les langues d’Asie du Sud-Est, comme le birman, le filipino, le thaï, le tamoul et le vietnamien. Sa stratégie a changé. Les premières versions étaient entraînées à partir de zéro, alors que les récentes partent du modèle de quelqu’un d’autre. La version 4.8 a été bâtie avec NVIDIA sur ses bases Nemotron-3. On y gagne en puissance pour moins d’argent, mais on hérite de choix qu’on ne peut pas examiner complètement. Schneier et Sanders y voient un arbitrage difficile entre coût et utilité, et non un échec.

BLOOM compte surtout pour son histoire et comme démonstration. En 2022, des bénévoles travaillant avec le superordinateur Jean Zay du gouvernement français ont montré qu’on pouvait entraîner un grand modèle ouvert hors d’une grande entreprise. Sa licence RAIL est le point à retenir : elle restreint certains usages, et n’est donc pas à code source ouvert au sens d’Apache et de MIT. Avec 176 G et une conception de 2022, il demande beaucoup de mémoire pour son âge : mieux vaut l’étudier que le choisir d’emblée pour un déploiement.

D’autres méritent d’être suivis. Marin, de Stanford, dit entraîner un modèle à mélange d’experts de 535 G sur 18 000 milliards de jetons. ALIA, en Espagne, et EuroLLM, en Europe, occupent aussi ce terrain, et le site de Public AI affirme que son réseau aide à les héberger.

Exemple concret : quatre projets, quatre choix

Ces scénarios sont fournis à titre d’illustration.

Pour un produit commercial, lisez vous-même le fichier de licence. Apache et MIT sont courtes et permissives. RAIL comporte des conditions. Et une licence permissive sur un modèle bâti à partir d’un autre mérite qu’on vérifie aussi les conditions du parent, puisque le parent de SEA-LION est un modèle de base NVIDIA qui a sa propre licence.

De quel matériel ont-ils besoin?

Règle approximative : chaque paramètre prend environ 2 octets en précision de 16 bits et environ un demi-octet une fois quantifié à 4 bits, une compression qui échange un peu de qualité contre de la place.

Ces chiffres relèvent de l’arithmétique et ne comptent pas la mémoire de travail supplémentaire. Certains modèles et certaines versions exigent aussi un soutien logiciel précis : un fichier quantifié n’existe donc pas forcément pour chacun. Vérifiez d’abord la page du modèle. Notre calculateur de VRAM va plus loin.

Lequel devriez-vous essayer en premier?

Si vous voulez seulement voir à quoi ressemble l’IA publique, commencez par Apertus sur le clavardage de Public AI, où la version de raisonnement de 8 G ne demande aucune connexion. Cela prend une minute et donne une vraie idée d’où en sont ces modèles.

Si vous voulez exécuter un modèle sur votre machine, essayez d’abord un modèle de 7 G ou de 8 G, d’Apertus ou d’OLMo, qui tient sur un portable ordinaire une fois quantifié. Ne montez en taille que lorsque vous pouvez nommer la limite qui vous bloque. Si vous travaillez dans une langue d’Asie du Sud-Est, passez directement à SEA-LION, car les autres ne sont pas ajustés pour elle.

Soyez réaliste sur ce que vous testez. Aucun de ces modèles ne cherche à égaler les plus forts modèles commerciaux ou à poids ouverts, dont traite notre dossier sur les modèles à poids ouverts. On choisit l’un de ces quatre pour ce qu’il permet de voir et pour les langues qu’il sert, autant que pour sa puissance brute.