Qu’est-ce que DeepSeek-V3, et comment a-t-il pu être entraîné à si peu de frais?

Le 26 décembre 2024, DeepSeek, une entreprise d’IA établie en Chine, a publié DeepSeek-V3, un nouveau modèle de langage dont n’importe qui peut télécharger les poids. Les poids sont les milliards de nombres qu’un modèle apprend pendant son entraînement; les publier veut dire que vous pouvez faire tourner, étudier et adapter le modèle sur vos propres machines au lieu de seulement louer un accès par un site Web. Aujourd’hui, l’entreprise a enchaîné avec un rapport technique détaillé sur arXiv, l’archive ouverte où les chercheurs publient leurs articles.

Deux choses distinguent cette publication. Selon les propres mesures de DeepSeek, V3 est le modèle ouvert le plus puissant à ce jour, proche des meilleurs systèmes fermés d’OpenAI et d’Anthropic. Et l’entreprise affirme avoir entraîné V3 avec un budget que la plupart des laboratoires jugeraient minuscule.

Ce que DeepSeek a publié

L’ensemble comprend trois parties : les poids du modèle, l’article et une mise à jour de l’API payante de DeepSeek (le service que les programmeurs appellent depuis leurs propres applications).

Un jeton est un morceau de texte, souvent une partie de mot; TechCrunch note qu’un million de jetons représente environ 750 000 mots. Jusqu’au 8 février, les clients de l’API continuent de payer les anciens prix de V2. La licence est permissive : les développeurs peuvent télécharger et modifier le modèle, et l’utiliser dans la plupart des produits commerciaux.

Comment il fonctionne : une équipe de spécialistes

La plupart des modèles de clavardage sont denses : chaque partie du réseau travaille sur chaque mot. DeepSeek-V3 est un mélange d’experts (mixture of experts, MoE). À l’intérieur, il contient de nombreux sous-réseaux plus petits, les experts, ainsi qu’un routeur qui en choisit quelques-uns pour chaque jeton. Pensez à un grand hôpital : chaque patient ne voit pas tous les médecins. Une infirmière au triage envoie chaque cas aux bons spécialistes, si bien que l’hôpital peut employer des centaines d’experts tout en gardant chaque visite courte.

C’est pourquoi V3 peut être immense tout en restant abordable à faire tourner. Ses connaissances sont réparties sur 671 milliards de paramètres, mais seulement 37 milliards font le travail pour un jeton donné, ce qui garde chaque réponse peu coûteuse à calculer.

L’article décrit plusieurs améliorations qui s’ajoutent à cette idée :

• La Multi-head Latent Attention (attention latente multitête), reprise de DeepSeek-V2, comprime les notes que le modèle garde sur le texte précédent, si bien que les longues conversations exigent moins de mémoire.
• Une nouvelle méthode d’équilibrage de la charge empêche le routeur d’envoyer trop de travail à quelques experts favoris, sans le terme de pénalité que d’autres modèles MoE ajoutent pendant l’entraînement.
• La prédiction de plusieurs jetons (multi-token prediction) entraîne le modèle à deviner plus d’un jeton à venir à chaque étape, ce qui, selon DeepSeek, améliore les résultats.
• L’arithmétique à basse précision : DeepSeek a fait une grande partie des calculs d’entraînement avec des nombres compacts de 8 bits (un format appelé FP8), et affirme être la première à montrer que cela fonctionne à une échelle aussi grande.

Après cet entraînement principal, DeepSeek a peaufiné le modèle par ajustement fin supervisé (apprendre à partir d’exemples de réponses) et par apprentissage par renforcement (apprendre à partir de rétroaction sur ses réponses).

La facture de l’entraînement

Le chiffre phare vient de l’article lui-même. DeepSeek a entraîné V3 sur une grappe de 2 048 puces Nvidia H800. La phase principale d’entraînement a pris moins de deux mois, et l’ensemble du processus a utilisé 2,788 millions d’heures-GPU (une puce qui travaille pendant une heure). À un prix de location supposé de 2 $ US par heure-GPU, cela donne 5,576 millions $ US.

Deux mises en garde comptent ici. D’abord, DeepSeek précise que ce chiffre ne couvre que la dernière phase officielle, pas les recherches et les expériences antérieures qui y ont mené. Ensuite, TechCrunch souligne que les puces H800 font partie de celles que le département du Commerce des États-Unis a récemment interdit aux entreprises chinoises d’acheter. Construire un modèle de pointe malgré ces limites fait partie de ce qui a attiré l’attention des chercheurs.

Comment il se compare, et ses limites

Au test de connaissances MMLU, DeepSeek rapporte un résultat de 88,5, le meilleur de tous les modèles ouverts auxquels il l’a comparé. L’entreprise affirme que V3 est à peu près au niveau de GPT-4o et de Claude 3.5 Sonnet d’Anthropic à de nombreux tests, qu’il bat o1-preview au banc d’essai de mathématiques MATH-500 et qu’il mène aux tests de programmation de type concours comme LiveCodeBench. TechCrunch ajoute que, dans les tests de DeepSeek, V3 surpasse Llama 3.1 405B de Meta, Qwen 2.5 72B d’Alibaba et GPT-4o sur un ensemble de concours de programmation Codeforces.

Ce sont les chiffres de l’entreprise, et les tests indépendants prendront du temps. L’article reconnaît aussi franchement que V3 reste derrière ces deux modèles fermés pour les questions factuelles en anglais, tout en faisant mieux pour celles en chinois. TechCrunch rapporte que le modèle refuse de répondre aux questions sur des sujets politiquement sensibles comme la place Tian’anmen, comme l’exigent les autorités de réglementation chinoises. Et « ouvert » ne veut pas dire « petit » : faire tourner le modèle complet à une vitesse utilisable demande une baie de GPU haut de gamme, pas un ordinateur portable.

Pourquoi c’est important cette semaine

Depuis un an, on tenait généralement pour acquis qu’égaler les meilleurs modèles fermés exigeait des budgets énormes et des dizaines de milliers de puces. DeepSeek-V3 remet publiquement cette idée en question, avec un article que d’autres peuvent vérifier. Si les affirmations sur l’efficacité se confirment, beaucoup s’attendent à ce que les coûts d’entraînement prennent plus de place dans la discussion, tout comme l’écart entre modèles ouverts et fermés, qui se resserre selon DeepSeek.

Pour les développeurs, la nouvelle pratique est un modèle puissant à poids ouverts et à faible prix d’API. Pour tous les autres, c’est le signe que l’IA performante ne vient plus seulement de quelques laboratoires américains.

Comment essayer DeepSeek-V3 vous-même?

La façon la plus simple est l’assistant de clavardage gratuit de DeepSeek, sur son site Web. Créez un compte, puis essayez une tâche que vous connaissez bien pour pouvoir juger la réponse. Évitez de coller des renseignements privés ou sensibles, comme avec n’importe quel assistant en ligne.

Si vous programmez, l’API de DeepSeek garde le même format de requête qu’avant : les applications déjà construites sur ses modèles V2 continuent de fonctionner, et les prix actuels de DeepSeek restent en vigueur jusqu’au 8 février.

Les poids eux-mêmes sont sur GitHub et Hugging Face. Les télécharger a du sens pour les entreprises et les groupes de recherche qui disposent de sérieux serveurs GPU; le modèle complet est beaucoup trop gros pour un ordinateur domestique. Pour la plupart des lecteurs, le clavardage et l’API sont les portes d’entrée pratiques.