Comment bâtir votre propre modèle de langage, et quelle voie convient à votre objectif et à votre budget?

« Mon propre modèle de langage » est une expression qui cache des projets très différents. Une étudiante qui regarde un jouet apprendre l’orthographe, une entreprise qui enseigne à un modèle ouvert le format de ses billets et une université qui entraîne un modèle multilingue sur un superordinateur national bâtissent toutes leur propre modèle. Entre ces projets, le coût varie d’un facteur d’environ un million.

Cette page est la carte de la série. Elle présente les niveaux, les étapes que traverse tout modèle créé à partir de zéro et les outils pour chacune. Un modèle de langage, ou grand modèle de langage (LLM), est un programme qui prédit le prochain morceau de texte. Le préentraînement lui enseigne cette habileté à partir de texte brut, en partant de nombres aléatoires. L’ajustement fin poursuit l’entraînement d’un modèle existant, le plus souvent avec des exemples du comportement voulu.

Les six niveaux

Les montants sont en dollars américains. Les chiffres de location utilisent des prix relevés le 2 novembre 2026; l’article sur les coûts montre le calcul.

Le niveau 3 se trouve sous le niveau 4 à dessein : l’ajustement fin coûte moins cher et donne des résultats plus pratiques, tandis que les niveaux 1, 2 et 4 enseignent le fonctionnement des modèles. La plupart des gens devraient faire le niveau 1 ou 2 pour comprendre, et le niveau 3 pour s’en servir. Les niveaux 1 et 3 ont déjà leurs guides pas à pas ici : un tout petit modèle à partir de zéro et l’ajustement fin d’un petit modèle.

Les étapes d’un modèle créé à partir de zéro

Le projet nanochat du chercheur Andrej Karpathy est une référence utile, car un seul court script exécute toutes ces étapes, dans l’ordre :

1. Recueillir et nettoyer le texte. Le speedrun demande environ 150 fichiers d’environ 250 millions de caractères chacun. Voyez comment préparer un jeu de données.
2. Entraîner un découpeur en jetons (tokenizer), la pièce qui coupe le texte en jetons numérotés. Voyez comment en bâtir un.
3. Préentraîner le modèle sur ces jetons. Cette étape consomme la majeure partie de l’argent.
4. Faire l’ajustement fin pour le clavardage, pour qu’il réponde au lieu de simplement prolonger votre phrase.
5. Évaluer le modèle à l’aide de chiffres qui veulent dire quelque chose. Voyez comment tester votre modèle.
6. Publier, si vous le souhaitez, avec une licence qui correspond à ce que le modèle a lu. Voyez publier et choisir une licence.

Le guide sur GPU loué parcourt les étapes 1 à 5 avec les commandes.

Quel outil fait quoi

Avec Axolotl, une première exécution tient en deux commandes, si l’outil est installé. Le fichier nomme le modèle, les données et la méthode :

axolotl fetch examples
axolotl train examples/llama-3/lora-1b.yml

Un plan concret

Disons que vous travaillez pour un organisme québécois et que vous voulez un assistant qui classe des demandes en français dans vos catégories. Voici un ordre sensé :

1. Consacrez un après-midi au niveau 1, pour que la perte, les jetons et le surapprentissage cessent d’être abstraits.
2. Rédigez 300 exemples en français de la tâche de classement et testez-y un simple prompt. Ce résultat est votre point de comparaison.
3. Si le prompt ne suffit pas, faites l’ajustement fin d’un petit modèle ouvert qui gère le français (niveau 3), puis comparez sur les mêmes exemples.
4. Sautez les niveaux 4 et 5. Un modèle de niveau GPT-2 entraîné pour 64 $ US ne classera pas vos demandes de façon fiable, et 880 000 $ US n’achètent rien dont l’ajustement fin a besoin.

Où devriez-vous arrêter de grimper?

Arrêtez-vous au premier niveau qui atteint votre objectif, et soyez honnête sur cet objectif. Si vous vouliez comprendre les modèles, vous avez terminé quand vous pouvez expliquer pourquoi votre courbe de perte s’est aplatie. Le niveau 2 peut vous y mener gratuitement, et le niveau 4 ajoute l’expérience de payer du calcul et de voir un modèle de clavardage apparaître à partir de rien.

Si vous vouliez un outil, arrêtez dès qu’un test mesuré montre qu’il bat le point de comparaison obtenu avec le prompt seul. Aller plus loin coûte plus cher sans forcément aider. Bien des tâches n’ont jamais besoin de plus qu’un prompt, comme l’explique le guide pour choisir entre prompt, documents et ajustement fin.

Les niveaux 5 et 6 sont une décision d’un autre ordre, plus proche du financement d’un projet de recherche que d’un projet de fin de semaine. Ils ont du sens lorsque la maîtrise est le but : un jeu de données dont vous pouvez défendre les licences, une langue que les grands modèles servent mal ou un pays qui veut le sien. La comparaison avec l’ajustement fin et le RAG examine ces cas, et le détail des coûts vous aide à vérifier si votre budget concorde.