Que veut dire l’ajustement fin de GPT-3.5 Turbo, et pourquoi y recourir?

Hier après-midi, OpenAI a ouvert une fonction que les développeurs réclamaient depuis la sortie du modèle : l’ajustement fin (fine-tuning) de GPT-3.5 Turbo. GPT-3.5 Turbo est le petit frère plus léger et moins cher de GPT-4, et de nombreuses applications y accèdent par l’API d’OpenAI, la connexion payante qu’utilisent les programmeurs pour envoyer du texte aux modèles d’OpenAI et recevoir des réponses.

Jusqu’ici, la seule façon d’orienter son comportement était le prompt : les consignes qu’on envoie avec chaque requête. L’ajustement fin permet à une entreprise d’intégrer une partie de ces consignes dans une copie privée du modèle. OpenAI indique aussi que l’ajustement fin de GPT-4, son modèle le plus performant, est prévu pour cet automne.

Ce qu’est l’ajustement fin

Un modèle comme GPT-3.5 Turbo a acquis ses compétences générales à partir d’une immense quantité de texte. L’ajustement fin est une courte deuxième ronde d’entraînement sur un ensemble d’exemples beaucoup plus petit et ciblé. Vous montrez au modèle de nombreuses conversations qui ressemblent exactement à ce que vous voulez, et il ajuste ses paramètres, les nombres internes qu’il a appris, pour pencher vers ce modèle.

Une analogie : une nouvelle employée arrive en sachant déjà écrire. La former à partir de cinquante des meilleurs courriels de votre entreprise à la clientèle ne lui apprend pas la langue; cela lui apprend le style maison. L’ajustement fin fait la même chose pour un modèle.

OpenAI indique que des clients d’un test privé s’en sont servis pour trois types d’amélioration :

• La capacité d’orienter le modèle (steerability) : suivre les consignes de façon plus fiable, par exemple garder des réponses courtes ou toujours répondre en allemand quand on le demande.
• Un format fiable : produire la même structure chaque fois, par exemple transformer la demande d’un utilisateur en JSON, un format de données strict que d’autres logiciels peuvent lire.
• Un ton sur mesure : avoir constamment la voix d’une marque précise.

Il y a aussi un avantage de coût. Si le modèle connaît déjà vos consignes, vous n’avez plus besoin de les envoyer avec chaque requête. OpenAI affirme que certains des premiers testeurs ont réduit leurs prompts de jusqu’à 90 %, ce qui rend chaque appel plus rapide et moins cher. GPT-3.5 Turbo ajusté peut traiter 4 000 jetons de texte à la fois, soit le double de la limite des modèles ajustables précédents d’OpenAI. (Un jeton est un morceau de mot; 100 000 jetons correspondent à environ 75 000 mots anglais.)

Comment ça fonctionne, étape par étape

L’annonce d’OpenAI décrit quatre étapes, toutes réalisées par l’API :

1. Préparer vos données. Écrivez des exemples de conversations dans le format qu’utilise ChatGPT : un message system qui fixe le rôle, un message user et la réponse assistant idéale.
2. Téléverser le fichier chez OpenAI.
3. Créer une tâche d’ajustement fin qui nomme le fichier d’entraînement et le modèle de base, gpt-3.5-turbo-0613.
4. Utiliser votre nouveau modèle. À la fin de l’entraînement, vous obtenez un nom de modèle qui commence par ft: et vous l’appelez comme n’importe quel autre modèle.

Voici un exemple d’entraînement pour une boulangerie qui veut des réponses brèves et chaleureuses, qui se terminent toujours par ses heures d’ouverture :

Système : Tu es l’assistant de la Boulangerie Rosa. Réponds en deux phrases ou moins, chaleureusement, et termine avec nos heures d’ouverture.
Utilisateur : Avez-vous du pain sans gluten?
Assistant : Oui, nous cuisons un pain sans gluten tous les mardis et vendredis. Nous sommes ouverts de 7 h à 18 h, du mardi au dimanche.

Un vrai fichier d’entraînement contiendrait des dizaines ou des centaines d’exemples comme celui-ci, qui couvrent les questions que la clientèle pose réellement. Une fois que le modèle ajusté a appris le modèle de réponse, l’application peut envoyer uniquement la question du client.

Toutes les données d’entraînement passent par les outils de modération d’OpenAI, dont un système alimenté par GPT-4, pour écarter les exemples qui enfreignent ses règles de sécurité. Le but est d’empêcher les gens de faire disparaître les garde-fous du modèle par l’ajustement fin. OpenAI précise aussi que les données envoyées par le service d’ajustement fin appartiennent au client et ne servent pas à entraîner d’autres modèles.

Ce que ça coûte

L’ajustement fin a deux prix : des frais d’entraînement payés une seule fois et un tarif d’utilisation plus élevé pour le modèle sur mesure.

L’exemple d’OpenAI : un fichier d’entraînement de 100 000 jetons, parcouru 3 fois (trois époques, ou epochs), coûte environ 2,40 $ US à entraîner. Comme vous payez l’entraînement, puis chaque utilisation, les économies doivent venir de prompts plus courts, ou du fait de bien réussir une tâche au point de ne plus avoir besoin de GPT-4 pour celle-ci.

La même annonce présente deux modèles de remplacement, babbage-002 et davinci-002, pour les modèles de base GPT-3 d’origine qui seront mis hors service le 4 janvier 2024. Ils peuvent faire l’objet d’un ajustement fin par un nouveau point de terminaison (endpoint, une adresse de l’API), qui remplace l’ancien.

Pourquoi c’est important

Pour les entreprises, cela change l’équilibre entre qualité et prix. Un petit modèle bon marché entraîné sur vos exemples peut accomplir une tâche aussi bien qu’un grand modèle généraliste. OpenAI affirme que les premiers tests montrent exactement cela sur certaines tâches pointues, mais l’entreprise ne donne pas de chiffres détaillés, et les résultats dépendront de la qualité des exemples.

Cela abaisse aussi la barrière d’entrée. L’ajustement fin était déjà possible, mais seulement sur les anciens modèles GPT-3. Il s’applique maintenant au modèle conversationnel que la plupart des développeurs utilisent déjà, et OpenAI promet plus tard un tableau de bord visuel pour que les gens puissent suivre leurs tâches d’entraînement sans code.

Faut-il faire l’ajustement fin d’un modèle ou simplement écrire de meilleurs prompts?

Commencez par les prompts. OpenAI dit elle-même que l’ajustement fin fonctionne le mieux combiné à des prompts soignés, à la récupération d’information (aller chercher des documents pertinents et les ajouter au prompt) et à l’appel de fonctions (function calling). Un rôle clair, un ou deux exemples et une description du format règlent souvent le problème sans aucun entraînement, et vous pouvez modifier un prompt en quelques secondes.

L’ajustement fin trouve sa place quand vous avez une tâche stable et répétée, assez de bons exemples, et soit un format que le modèle continue de rater, soit de longues consignes que vous envoyez des milliers de fois par jour. Il enseigne bien le style et la structure. Ce n’est pas un moyen fiable d’enseigner de nouveaux faits; pour cela, la récupération d’information est généralement le meilleur outil.

Une démarche sensée consiste à écrire le meilleur prompt possible, à recueillir les cas où il échoue et à en faire des exemples d’entraînement. Ainsi, si vous passez à l’ajustement fin, vous savez déjà à quoi ressemble la réussite et vous pouvez mesurer si le modèle sur mesure est vraiment meilleur.