Faut-il préentraîner un modèle, faire un ajustement fin ou utiliser le RAG, une fois les vrais coûts comptés?

Notre guide sur les prompts, les documents et l’ajustement fin vous aide à diagnostiquer un assistant décevant. Cet article répond à la question qui vient ensuite pour les personnes qui bâtissent : si vous pouviez aussi entraîner un modèle bien à vous à partir de rien, quand serait-ce mieux que le reste?

Trois définitions rapides. Le RAG (retrieval-augmented generation, génération augmentée par récupération) cherche dans vos documents et remet les passages pertinents à un modèle existant au moment de la question. L’ajustement fin poursuit l’entraînement d’un modèle existant sur vos exemples. Le préentraînement bâtit un nouveau modèle à partir de nombres aléatoires à l’aide de milliards de jetons de texte.

Les trois, côte à côte

Les chiffres sont en dollars américains, selon des prix courants relevés le 2 novembre 2026 (détails).

La surprise se trouve dans les colonnes du milieu. Dépenser 40 fois plus qu’un ajustement fin donne un modèle bien plus faible, parce qu’un ajustement fin part de millions de dollars d’entraînement payés par quelqu’un d’autre. À petite échelle, le préentraînement ne vous achète pas de la capacité. Il vous achète de la compréhension et de la maîtrise.

Un exemple concret

Une municipalité québécoise veut un assistant en français pour les questions des citoyens sur les règlements, les permis et les jours de collecte.

Les faits changent chaque année, et les citoyens ont besoin de la règle en vigueur, avec sa référence. C’est un travail pour le RAG, sur les documents de la municipalité, avec un modèle bon en français. Un prompt qui exige de citer le règlement règle l’essentiel du comportement.

Disons que le personnel veut aussi chaque réponse dans un format fixe, et que les tests montrent que le prompt seul dérive après des milliers de questions. Cela justifie l’ajustement fin d’un petit modèle ouvert, sur quelques centaines d’exemples révisés. Le RAG continue de fournir les faits : les deux solutions s’additionnent.

Maintenant, quelqu’un propose « notre propre modèle », par souveraineté. Un préentraînement de niveau GPT-2 à 64 $ US produirait un modèle qui invente des règlements avec assurance, et un modèle compétent éclipserait sans doute tout budget de projet municipal. Ce que vise vraiment cette demande, c’est habituellement la maîtrise : où vont les données et qui peut changer les conditions. Exécuter un modèle à poids ouverts sur du matériel ou un nuage choisi par la municipalité répond à ce besoin à bien moindre coût, sans aucun entraînement.

Budgétez aussi les options intermédiaires

Entre ces colonnes se trouvent des voies que le tableau cache :

• La distillation : faites étiqueter vos données par un modèle puissant, puis faites l’ajustement fin d’un petit modèle sur le résultat. Voyez notre article, y compris les limites des conditions d’utilisation.
• L’ajustement fin hébergé : plusieurs fournisseurs d’API l’offrent, sans GPU à gérer.
• Un modèle de base plus petit et plus propre : les modèles ouverts bien documentés vous permettent de vérifier ce sur quoi vous bâtissez, ce qui élimine une partie des raisons de préentraîner.

Quand le préentraînement à partir de zéro se justifie-t-il vraiment?

Pour apprendre. Une exécution à 64 $ US, ou gratuite sur portable, enseigne ce qu’aucun article ne peut enseigner. C’est la bonne raison la plus courante, et le guide sur GPU loué est écrit pour elle. N’attendez pas un produit à la fin.

Pour la recherche. L’étude des effets des données, de l’architecture ou de l’échelle demande des modèles que vous maîtrisez entièrement.

Lorsque la provenance des données est le but. L’ajustement fin hérite des inconnues du modèle de base. Si vous devez dire exactement ce qu’un modèle a lu, le préentraînement sur un corpus comme la Common Pile, à la manière des modèles Comma v0.1, peut y répondre d’une façon qu’un modèle de base permet rarement.

Pour les langues que les modèles servent mal. Si votre langue est peu présente dans les modèles actuels, qu’il existe assez de texte et que l’ajustement fin d’une base multilingue ouverte a été essayé et mesuré, un jeu de données conçu sur mesure peut être la voie à suivre. La facture d’entraînement est rarement le premier obstacle; réunir les textes avec le consentement de la communauté l’est souvent.

Comme infrastructure publique. Le projet suisse Apertus en est l’exemple le plus clair : l’EPFL, l’ETH Zurich et le CSCS ont publié les poids, les données et les recettes, après un entraînement sur 15 billions de jetons dans plus de 1 000 langues, avec plus de 10 millions d’heures-GPU sur un superordinateur national. À un prix commercial de 3,99 $ US l’heure-GPU, ce calcul reviendrait à environ 40 millions $ US. C’est une décision d’institutions à mission publique plutôt que le budget d’un seul projet. Le Canada tient le même débat sur sa propre capacité souveraine.

Si aucun de ces cas ne vous décrit, les options moins chères vous serviront mieux. Le guide d’OpenAI sur l’exactitude donne un conseil valable bien au-delà de ses propres produits : mesurez d’abord un point de référence, puis essayez le plus petit changement capable de régler le problème.