Que contient la publication des poids ouverts de Kimi K3.1 Pro, et qu’est-ce qui a changé depuis K3?

Moonshot AI a respecté son échéance. Quand elle a lancé Kimi K3.1 Pro comme service hébergé à la fin d’octobre, l’entreprise pékinoise avait annoncé que les poids complets du modèle suivraient au plus tard le 4 novembre. Ils se trouvent maintenant dans un dépôt Hugging Face public et sans restriction d’accès, moonshotai/Kimi-K3.1-Pro, dont le premier téléversement est daté du 2 novembre. N’importe qui peut télécharger les fichiers sans demander de permission. Les poids sont les nombres appris qui composent un modèle; les avoir, c’est pouvoir le faire tourner, l’étudier et le modifier sur ses propres machines.

K3.1 Pro n’est pas une nouvelle architecture. C’est Kimi K3, publié en juillet, entraîné beaucoup plus longtemps par apprentissage par renforcement, une méthode où le modèle s’exerce à des tâches et reçoit une récompense quand il les réussit. La publication compte parce qu’elle met entre toutes les mains un modèle que Moonshot juge proche des meilleurs systèmes fermés, avec une étape de sécurité inhabituelle : l’entreprise dit avoir retiré des données d’entraînement liées au piratage avant de publier les poids.

Ce qui a été publié

Le dépôt contient les poids, la configuration, le segmenteur (tokenizer), du code pour traiter les images et une fiche technique du modèle. Voici les principaux chiffres, tirés de cette fiche :

Un paramètre est un nombre appris. Les deux sont des modèles à mélange d’experts : chaque couche contient de nombreux petits sous-réseaux, les experts, et un routeur envoie chaque jeton, un petit morceau de texte, vers quelques-uns d’entre eux. C’est pourquoi seuls 104 milliards de paramètres travaillent pour un jeton donné, alors que les 2,8 billions doivent tous résider en mémoire.

Le seul changement de structure touche l’attention, la partie d’un modèle qui décide quels mots précédents comptent pour le suivant. Moonshot a remplacé les couches à attention complète de K3 par un type clairsemé appelé Gated DSA, qui examine un sous-ensemble choisi des jetons précédents plutôt que tous. Selon la fiche technique, cela rend les très longues entrées moins coûteuses à traiter.

Comment le modèle a été modifié, y compris le retrait cyber

Le billet de lancement de Moonshot décrit K3.1 Pro comme K3 avec beaucoup plus de calcul consacré à l’après-entraînement. Voici les résultats que l’entreprise rapporte elle-même; ce sont des affirmations, pas des tests indépendants :

Moonshot précise que le test sur les hallucinations est un test de résistance conçu pour provoquer des erreurs; ses taux ne sont donc pas des taux d’erreur du quotidien.

L’aspect le plus inhabituel concerne la cybersécurité. Moonshot dit avoir remarqué que l’habileté du modèle à trouver et à exploiter des failles logicielles augmentait au fil de l’entraînement, l’avoir attribuée à du matériel lié au piratage mêlé aux données d’entraînement générales et aux tâches d’exercice, puis avoir retiré ce matériel de deux étapes de l’entraînement pour la version publique. Sur son test maison d’exploitation de failles, la version entraînée sans ce filtrage a réussi 90,5 % des tâches en trois essais, contre 81,0 % pour le modèle publié. Moonshot affirme que le résultat reste sous ce que sa chaîne de production pourrait atteindre, et derrière les modèles fermés de pointe accessibles au public depuis au moins trois mois.

Cette approche a des limites qu’il vaut la peine de nommer. Une fois les poids publics, quiconque dispose d’assez de matériel peut faire l’ajustement fin du modèle avec le matériel retiré; le filtrage augmente donc l’effort nécessaire plutôt que de fermer la porte. Et le chiffre de 81,0 % montre que le modèle publié reste fort dans ce domaine, un point que Moonshot fait valoir elle-même quand elle soutient que les défenseurs profitent d’un accès ouvert.

La licence : les conditions de K3 sous un nouveau nom

Une comparaison ligne par ligne des deux fichiers de licence montre que seul le nom du modèle a changé. La Kimi K3.1-Pro License accorde de larges droits d’utilisation, de modification, d’ajustement fin et de vente, avec deux conditions :

Tout ce qu’explique notre guide sur la licence de Kimi K3 s’applique donc tel quel. La licence est permissive pour la plupart des équipes, mais ce n’est pas une licence de code source ouvert standard comme MIT ou Apache 2.0, à cause de la clause sur les modèles offerts comme service.

Ce qu’il faut pour le faire tourner

Le téléchargement a la même taille que celui de K3, et la facture matérielle aussi. Le guide de configuration du projet vLLM pour K3.1 Pro indique un minimum de huit GPU travaillant comme un seul groupe : deux plateaux NVIDIA GB300, un serveur B300 ou un serveur AMD MI355X, avec vLLM 0.34.0 ou une version plus récente. Son exemple par défaut répartit le modèle sur deux machines.

Pour se donner une idée de l’échelle : 1,56 To de poids divisé par 80 Go, la mémoire d’un NVIDIA H100, donne environ 20 de ces cartes seulement pour contenir le modèle, avant même de réserver de la place aux conversations. Un contexte de 1 million de jetons en exige beaucoup plus. C’est du matériel de centre de données, bien au-delà d’un poste de travail.

Faut-il héberger Kimi K3.1 Pro soi-même ou l’utiliser par une API?

Pour presque tout le monde, une API est la voie pratique. L’API Kimi de Moonshot offre K3.1 Pro et une variante plus rapide, Highspeed, au moyen d’appels compatibles avec les formats d’OpenAI et d’Anthropic; un essai se résume donc souvent à changer une adresse et un nom de modèle. L’usage hébergé échappe aussi aux conditions de la licence quand il passe par Moonshot ou ses partenaires certifiés. Le compromis touche les données : les prompts envoyés au service de Moonshot sont soumis à ses conditions, alors lisez-les avant d’envoyer quoi que ce soit de confidentiel.

L’hébergement autonome a du sens pour les organisations qui exploitent déjà des grappes de plusieurs GPU et qui ont besoin que leurs données restent sur leurs propres machines, ou qui veulent faire l’ajustement fin du modèle. Dans ce cas, les poids ouverts offrent ce qu’un service hébergé ne peut pas offrir : aucun prompt ne quitte votre réseau. Notre guide pour choisir entre un modèle à poids ouverts et un modèle hébergé détaille cette décision étape par étape.