# Comment bâtir votre propre modèle de langage, et quelle voie convient à votre objectif et à votre budget?

Date: 2026-11-02 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/batir-son-modele-de-langage-feuille-de-route/

**Answer:** Bâtir votre propre modèle peut aller d’un exercice gratuit sur portable à une exécution de plusieurs centaines de milliers de dollars : choisissez donc selon votre objectif. Pour apprendre, entraînez un modèle à partir de zéro avec nanochat; pour obtenir un outil utile à une tâche, faites l’ajustement fin d’un modèle à poids ouverts; ne préentraînez un modèle sérieux que si vous devez maîtriser ses données, sa langue ou sa licence.

« Mon propre modèle de langage » est une expression qui cache des projets très différents. Une étudiante qui regarde un jouet apprendre l’orthographe, une entreprise qui enseigne à un modèle ouvert le format de ses billets et une université qui entraîne un modèle multilingue sur un superordinateur national bâtissent toutes leur propre modèle. Entre ces projets, le coût varie d’un facteur d’environ un million.

Cette page est la carte de la série. Elle présente les niveaux, les étapes que traverse tout modèle créé à partir de zéro et les outils pour chacune. Un modèle de langage, ou grand modèle de langage (*LLM*), est un programme qui prédit le prochain morceau de texte. Le **préentraînement** lui enseigne cette habileté à partir de texte brut, en partant de nombres aléatoires. L’**ajustement fin** poursuit l’entraînement d’un modèle existant, le plus souvent avec des exemples du comportement voulu.

## Les six niveaux

Les montants sont en dollars américains. Les chiffres de location utilisent des prix relevés le 2 novembre 2026; l’article sur les coûts montre le calcul.

| Niveau | Ce que vous faites | Exemple | Machine | Environ | Ce que vous obtenez |
|---|---|---|---|---|---|
| 1 | Entraîner un jouet au niveau des caractères | Shakespeare de nanoGPT | Portable | 0 $ US | Du charabia à la Shakespeare et une vraie intuition |
| 2 | Exécuter tout le pipeline, en miniature | nanochat `runs/runcpu.sh` | Portable rapide, environ 40 min | 0 $ US | Un faible modèle de clavardage qui connaît peut-être la capitale de la France |
| 3 | Faire l’ajustement fin d’un modèle ouvert | Adaptateur LoRA ou QLoRA | Carnet gratuit ou GPU de jeu | De 0 à 20 $ US | Un modèle utile pour une tâche précise |
| 4 | Préentraîner au niveau de GPT-2 | nanochat `runs/speedrun.sh` | 8 GPU H100, environ 2 h | 64 $ US | Un modèle de clavardage qui écrit couramment et invente librement |
| 5 | Préentraîner un petit modèle compétent | SmolLM3 (3 milliards de paramètres) | 384 GPU H100, 24 jours | 880 000 $ US au prix courant | Un modèle ouvert concurrentiel |
| 6 | Entraîner à la fine pointe | Exécutions à l’échelle d’un pays ou d’un laboratoire | Des milliers de GPU | Des millions et plus | Un modèle de tête, et une équipe de recherche à nourrir |

Le niveau 3 se trouve sous le niveau 4 à dessein : l’ajustement fin coûte moins cher et donne des résultats plus pratiques, tandis que les niveaux 1, 2 et 4 enseignent le fonctionnement des modèles. La plupart des gens devraient faire le niveau 1 ou 2 pour comprendre, et le niveau 3 pour s’en servir. Les niveaux 1 et 3 ont déjà leurs guides pas à pas ici : [un tout petit modèle à partir de zéro](/fr/apprendre/entrainer-petit-modele-langage-de-zero/) et [l’ajustement fin d’un petit modèle](/fr/apprendre/ajuster-petit-modele-ouvert-soi-meme/).

## Les étapes d’un modèle créé à partir de zéro

Le projet nanochat du chercheur Andrej Karpathy est une référence utile, car un seul court script exécute toutes ces étapes, dans l’ordre :

1. **Recueillir et nettoyer le texte.** Le *speedrun* demande environ 150 fichiers d’environ 250 millions de caractères chacun. Voyez [comment préparer un jeu de données](/fr/apprendre/preparer-donnees-entrainer-modele-langage/).
2. **Entraîner un découpeur en jetons** (*tokenizer*), la pièce qui coupe le texte en jetons numérotés. Voyez [comment en bâtir un](/fr/apprendre/construire-decoupeur-jetons-soi-meme/).
3. **Préentraîner** le modèle sur ces jetons. Cette étape consomme la majeure partie de l’argent.
4. **Faire l’ajustement fin pour le clavardage**, pour qu’il réponde au lieu de simplement prolonger votre phrase.
5. **Évaluer** le modèle à l’aide de chiffres qui veulent dire quelque chose. Voyez [comment tester votre modèle](/fr/apprendre/evaluer-modele-langage-entraine-soi-meme/).
6. **Publier**, si vous le souhaitez, avec une licence qui correspond à ce que le modèle a lu. Voyez [publier et choisir une licence](/fr/apprendre/publier-modele-langage-licence/).

Le [guide sur GPU loué](/fr/apprendre/entrainer-petit-modele-langage-gpu-loue/) parcourt les étapes 1 à 5 avec les commandes.

## Quel outil fait quoi

| Outil | À utiliser pour | Pourquoi |
|---|---|---|
| PyTorch | Tout ce qui se trouve dessous | La bibliothèque dans laquelle la plupart de ces projets sont écrits |
| nanochat | Apprendre tout le pipeline, niveaux 2 et 4 | Code lisible, un seul réglage de taille (`--depth`), licence MIT |
| Hugging Face `datasets`, `tokenizers`, Hub | Données, découpeurs, partage | Formats communs que les autres outils comprennent |
| Hugging Face TRL et PEFT | Ajustement fin en Python | Maîtrise directe, voir notre guide LoRA |
| Unsloth | Ajustement fin sur un GPU modeste | Moins de mémoire requise, carnets gratuits, application de bureau |
| Axolotl | Ajustement fin reproductible, plusieurs GPU | Un fichier YAML décrit l’exécution, qui s’étend à plusieurs GPU |

Avec Axolotl, une première exécution tient en deux commandes, si l’outil est installé. Le fichier nomme le modèle, les données et la méthode :

```bash
axolotl fetch examples
axolotl train examples/llama-3/lora-1b.yml
```

## Un plan concret

Disons que vous travaillez pour un organisme québécois et que vous voulez un assistant qui classe des demandes en français dans vos catégories. Voici un ordre sensé :

1. Consacrez un après-midi au niveau 1, pour que la perte, les jetons et le surapprentissage cessent d’être abstraits.
2. Rédigez 300 exemples en français de la tâche de classement et testez-y un simple prompt. Ce résultat est votre point de comparaison.
3. Si le prompt ne suffit pas, faites l’ajustement fin d’un petit modèle ouvert qui gère le français (niveau 3), puis comparez sur les mêmes exemples.
4. Sautez les niveaux 4 et 5. Un modèle de niveau GPT-2 entraîné pour 64 $ US ne classera pas vos demandes de façon fiable, et 880 000 $ US n’achètent rien dont l’ajustement fin a besoin.

> **À essayer :** écrivez en une phrase pourquoi vous voulez votre propre modèle, puis trouvez votre niveau dans le tableau. Si votre phrase contient « comprendre », commencez au niveau 1. Si elle contient une tâche de votre travail, commencez au niveau 3 avec 20 exemples.

## Où devriez-vous arrêter de grimper?

Arrêtez-vous au premier niveau qui atteint votre objectif, et soyez honnête sur cet objectif. Si vous vouliez comprendre les modèles, vous avez terminé quand vous pouvez expliquer pourquoi votre courbe de perte s’est aplatie. Le niveau 2 peut vous y mener gratuitement, et le niveau 4 ajoute l’expérience de payer du calcul et de voir un modèle de clavardage apparaître à partir de rien.

Si vous vouliez un outil, arrêtez dès qu’un test mesuré montre qu’il bat le point de comparaison obtenu avec le prompt seul. Aller plus loin coûte plus cher sans forcément aider. Bien des tâches n’ont jamais besoin de plus qu’un prompt, comme l’explique le [guide pour choisir entre prompt, documents et ajustement fin](/fr/apprendre/prompt-documents-ou-ajustement-fin/).

Les niveaux 5 et 6 sont une décision d’un autre ordre, plus proche du financement d’un projet de recherche que d’un projet de fin de semaine. Ils ont du sens lorsque la maîtrise est le but : un jeu de données dont vous pouvez défendre les licences, une langue que les grands modèles servent mal ou un pays qui veut le sien. La [comparaison avec l’ajustement fin et le RAG](/fr/apprendre/preentrainer-ajuster-ou-rag-vrais-couts/) examine ces cas, et le [détail des coûts](/fr/apprendre/combien-coute-entrainer-modele-langage-2026/) vous aide à vérifier si votre budget concorde.

## Sources

- nanochat README, speedrun script, CPU script and leaderboard notes: https://github.com/karpathy/nanochat
- SmolLM3: smol, multilingual, long-context reasoner: https://huggingface.co/blog/smollm3
- Quickstart: https://docs.axolotl.ai/docs/getting-started.html

---

Tiré du Guide de l’intelligence artificielle, par Robert Scales, publié par Holistic Hybrid inc. Partage et adaptation permis selon la licence CC BY-NC-SA 4.0 (https://creativecommons.org/licenses/by-nc-sa/4.0/) : citez le guide, mettez un lien vers https://guidetoartificialintelligence.com/fr/apprendre/batir-son-modele-de-langage-feuille-de-route/, pas d’usage commercial sans permission, et gardez la même licence.