Combien coûte réellement l’entraînement d’un modèle de langage en 2026?

L’entraînement d’un modèle de langage comporte une facture principale : la location de processeurs graphiques (GPU), les puces qui font les calculs, pendant toute la durée de l’exécution. L’unité qui compte est l’heure-GPU : un GPU pendant une heure. Huit GPU pendant deux heures, c’est 16 heures-GPU. Multipliez les heures-GPU par le tarif horaire et vous avez le cœur du budget.

L’écart est énorme, ce qui explique que les manchettes sur des entraînements à un milliard de dollars et les projets amateurs à moins de 100 $ US puissent être exacts les uns comme les autres.

Ce que coûte la location d’un GPU aujourd’hui

Voici des prix courants publics en dollars américains par heure-GPU, relevés le 2 novembre 2026. Les taxes sont en sus et les prix bougent : vérifiez avant de budgéter. Les contrats de réservation peuvent différer.

Runpod vend deux catégories à des prix différents : vérifiez donc qui exploite les machines de chacune avant d’y déposer des données sensibles. Les places de marché et les offres ponctuelles (spot) peuvent descendre bien plus bas, avec moins de certitude de garder la machine.

Ce que coûtent de vraies exécutions à ces prix

Les heures proviennent des rapports des projets eux-mêmes. La colonne en dollars les multiplie par les prix ci-dessus, sauf indication contraire.

Trois remarques pour lire ce tableau. D’abord, le README de nanochat parle d’environ 48 $ US, à environ 3 $ US l’heure-GPU. Au tarif de 31,92 $ US l’heure affiché par Lambda pour la machine à 8 GPU, l’entraînement seul (1,65 heure au classement actuel) revient à environ 53 $ US, et une exécution complète avec installation et évaluation se rapproche de 64 $ US. Son auteur mentionne aussi environ 15 $ US sur des machines ponctuelles, dont les prix changent sans cesse. Ensuite, le même « niveau GPT-2 » a coûté environ 43 000 $ US en 2019, selon le récit de l’auteur. Enfin, seul le coût de DeepSeek est le chiffre d’une entreprise, et DeepSeek précise qu’il exclut la recherche et les expériences antérieures.

Les coûts absents de la grille tarifaire

Les exécutions ratées et expérimentales. Le chiffre publié est normalement celui de l’exécution finale réussie. Les projets sérieux essaient d’abord de nombreuses versions. Pour un petit modèle, c’est votre principal coût après le premier succès.

Les personnes. Une analyse de 2024 sur les modèles de pointe, de Cottier et ses collègues, conclut que pour des modèles comme GPT-4 et Gemini, le personnel coûte des dizaines de millions de dollars, à peu près autant que les puces, alors que l’énergie ne pèse que de 2 à 6 %. Elle estime que les exécutions les plus gourmandes en calcul ont crû d’environ 2,4 fois par année depuis 2016 et que, si la tendance se maintient, les plus grosses dépasseront un milliard de dollars d’ici 2027.

Le stockage et les données. Un système de fichiers oublié continue de coûter. Lambda, par exemple, facture un système de fichiers tant qu’il existe, mais pas le transfert de données à l’entrée ou à la sortie. D’autres nuages peuvent facturer les données sortantes : lisez les conditions.

Les machines oubliées. Les instances à la demande facturent généralement jusqu’à ce que vous les supprimiez, même au repos. Un nœud à 8 GPU laissé en marche une fin de semaine, soit environ 60 heures, coûte environ 1 900 $ US au tarif de Lambda, bien plus que l’entraînement lui-même.

Si vous êtes au Canada

Les prix ci-dessus sont en dollars américains : le taux de change alourdit donc une facture canadienne. Les chercheurs universitaires ont une autre voie : l’Alliance de recherche numérique du Canada offre aux titulaires de compte du temps de CPU et de GPU en utilisation opportuniste, sans priorité ni garantie. Une priorité plus élevée passe par son concours d’allocation des ressources, ouvert au corps professoral, aux professeurs associés et aux bibliothécaires. La ronde 2027 se termine le 3 novembre 2026.

Comment estimer votre facture avant de commencer?

Utilisez une seule formule : le nombre de jetons à traiter, divisé par les jetons traités par heure-GPU, multiplié par le prix. Un jeton est le morceau de texte que lit le modèle, soit environ trois ou quatre caractères d’anglais.

SmolLM3 donne un débit réel comme référence. Il a traité 11,2 billions de jetons en 221 184 heures-GPU, ce qui donne environ 50 millions de jetons par heure-GPU, soit environ 14 000 par seconde par GPU. Supposons que vous vouliez préentraîner un modèle semblable sur 500 milliards de jetons :

• 500 milliards ÷ 50,6 millions = environ 9 900 heures-GPU
• 9 900 × 3,99 $ US = environ 39 500 $ US
• Doublez pour les expériences, comme hypothèse de planification, et prévoyez environ 80 000 $ US

Ce débit dépend de la taille du modèle, des réglages de lot et de la machine : mesurez donc le vôtre. Exécutez pendant dix minutes, lisez les jetons par seconde dans le journal d’entraînement (nanochat l’indique sous train/tok_per_sec) et refaites le calcul avec votre chiffre. Ces dix minutes sur un nœud à 8 GPU coûtent environ 5 $ US, et elles peuvent vous éviter de lancer une exécution que vous ne pourrez pas terminer.