Comment faire vous-même l’ajustement fin d’un petit modèle ouvert?

L’ajustement fin (fine-tuning) consiste à poursuivre l’entraînement d’un modèle existant sur vos propres exemples pour qu’il adopte une habitude : un format fixe, un style maison, une façon de trier les demandes. Il n’enseigne pas de manière fiable de nouveaux faits à un modèle (pour cela, lui fournir des documents au moment de la question fonctionne mieux), mais il est excellent pour lui apprendre comment répondre.

En octobre 2026, un petit modèle à poids ouverts peut être ajusté dans un carnet infonuagique gratuit ou sur une carte graphique de jeu, surtout grâce à deux techniques. LoRA fige le modèle d’origine et entraîne à côté un petit ensemble de poids supplémentaires, appelé adaptateur; notre guide d’août montre un entraînement LoRA avec les bibliothèques de Hugging Face. QLoRA va plus loin en stockant le modèle figé en 4 bits pendant que l’adaptateur s’entraîne.

Pourquoi QLoRA a changé le budget

L’article sur QLoRA, publié en mai 2023, a montré qu’un modèle de 65 milliards de paramètres pouvait être ajusté sur une seule carte graphique de 48 Go tout en égalant la qualité d’un ajustement complet en 16 bits. Son meilleur modèle a atteint 99,3 % du score de ChatGPT sur le banc d’essai utilisé par les auteurs, après 24 heures sur un seul GPU. Tout aussi important pour les débutants, les auteurs ont obtenu leurs meilleurs résultats avec un jeu de données petit mais choisi avec soin.

Les outils ont depuis rendu la chose routinière. Unsloth, une bibliothèque ouverte d’ajustement fin populaire, dotée d’une application de bureau, entraîne maintenant sur les cartes graphiques NVIDIA, AMD et Intel ainsi que sur les Mac, et offre des carnets gratuits pour Google Colab et Kaggle. Sa documentation indique la mémoire graphique (VRAM) minimale nécessaire :

Ce sont des minimums; des exemples plus longs demandent plus. Un modèle de 8 milliards avec QLoRA tient sur une carte de 16 Go comme la Nvidia T4, un choix courant pour les carnets gratuits ou peu coûteux.

Un entraînement concret, étape par étape

Disons que vous voulez un modèle qui transforme des messages de clients désordonnés en un billet de soutien propre à quatre champs.

1. Choisissez un modèle de base. Commencez par un modèle ouvert ajusté pour suivre des instructions, de 3 à 8 milliards de paramètres, sous une licence qui permet votre usage. Les petits modèles s’entraînent vite : vous pouvez donc faire plusieurs essais.
2. Rédigez les exemples. Mettez chacun dans le format de conversation attendu par l’outil : le message du client comme tour de l’utilisateur, le billet idéal comme tour de l’assistant. La constance compte plus que le volume : chaque exemple doit suivre exactement le format que vous voulez obtenir.
3. Mettez-en de côté. Gardez de 10 à 20 % des exemples hors de l’entraînement. Ce sera votre examen.
4. Entraînez. Chargez le modèle de base en 4 bits, ajoutez un adaptateur LoRA et entraînez pendant un à trois passages sur les données (des époques); le guide d’Unsloth recommande de rester dans cette fourchette pour éviter que le modèle mémorise les exemples. Si vous manquez de mémoire, réduisez d’abord la taille de lot à 1 ou 2.
5. Testez contre l’original. Faites tourner le modèle de base et le modèle ajusté sur les exemples mis de côté, et notez-les de la même façon : chaque billet a-t-il les quatre champs, dans le bon format, avec la bonne catégorie?
6. Gardez ou jetez. Si le modèle ajusté est nettement meilleur, sauvegardez l’adaptateur, un petit fichier à côté du modèle de base, et chargez-le avec ce dernier. Sinon, améliorez les données avant de réentraîner.

Combien de données et d’argent faut-il?

Les données. Le guide des jeux de données d’Unsloth suggère un strict minimum d’environ 100 exemples pour obtenir un résultat raisonnable, plus de 1 000 étant préférable; au-delà, davantage de bonnes données aide habituellement. Pour une tâche de format bien délimitée, quelques centaines d’exemples vérifiés avec soin mènent souvent loin. Le vrai coût est votre temps : rédiger, relire et corriger les exemples prend habituellement bien plus de temps que l’entraînement. Vous pouvez demander à un plus gros modèle de rédiger des exemples supplémentaires, mais vérifiez-les à la main et lisez d’abord l’article sur la distillation de cette série, car les conditions de certains services limitent l’utilisation de leurs résultats pour entraîner d’autres modèles.

L’argent. Si vous possédez déjà une carte graphique récente avec assez de mémoire selon le tableau ci-dessus, le coût est l’électricité. Les carnets gratuits de Colab et de Kaggle ne coûtent rien, mais ont des limites de session. Pour louer, Hugging Face Jobs, qui facture à la minute, affiche en octobre 2026 des prix horaires comme ceux-ci :

Donc, si un entraînement QLoRA sur un modèle de 8 milliards prend deux heures sur une L4, la facture est de 1,60 $ US. Même dix essais pendant que vous peaufinez les données restent sous 20 $ US. Fixez une limite de temps à chaque tâche pour qu’un entraînement oublié ne puisse pas continuer à facturer. En 2026, la partie coûteuse de l’ajustement fin n’est pas l’ordinateur; ce sont les exemples et le test qui vous disent si cela a fonctionné.