Qu’est-ce qu’un message système dans l’API de ChatGPT?

Depuis le 1er mars, les développeurs peuvent intégrer le modèle de ChatGPT, gpt-3.5-turbo, à leurs propres applications grâce à l’API d’OpenAI, l’interface qui permet à un programme d’envoyer des requêtes à un autre. Le nouveau point d’accès de clavardage ne reçoit pas un seul bloc de texte comme les anciens modèles GPT-3. Il reçoit une liste de messages, et chaque message porte un rôle qui indique qui parle.

Il y a trois rôles. Les messages user (utilisateur) sont ce que la personne tape. Les messages assistant sont les réponses du modèle, ou des exemples de réponses que vous rédigez vous-même. Les messages system (système) sont des consignes du développeur qui encadrent toute la conversation. Les exemples d’OpenAI commencent habituellement par un message système, puis alternent entre l’utilisateur et l’assistant, même si cet ordre n’est pas obligatoire.

Pourquoi un rôle distinct est-il important?

Auparavant, quiconque bâtissait une application sur GPT-3 devait coller les consignes et la question de l’utilisateur dans un seul long prompt, et le modèle n’avait aucun moyen fiable de les distinguer. En coulisses, les modèles de clavardage lisent encore tout sous forme de jetons, les petits morceaux de texte qu’un modèle traite. Mais l’entrée arrive dans un format structuré qu’OpenAI appelle Chat Markup Language, ou ChatML, qui marque chaque partie avec son rôle.

Le président d’OpenAI, Greg Brockman, a expliqué à TechCrunch que cette structure, où les mots du développeur et ceux de l’utilisateur sont étiquetés séparément, devrait rendre les applications plus résistantes aux attaques par prompt : des messages conçus pour amener un robot à ignorer ses consignes. Il a donné l’exemple d’une application de tutorat qui devrait toujours expliquer une réponse et aider l’élève à apprendre, plutôt que de simplement lui donner la solution. C’est exactement le genre de règle qu’on met dans un message système.

Il y a une mise en garde importante. Le cookbook d’OpenAI, sa collection d’exemples de code officiels, note que la version actuelle du modèle, gpt-3.5-turbo-0301, a tendance à accorder moins de poids au message système qu’aux messages de l’utilisateur. Il recommande de placer aussi les consignes importantes dans le message de l’utilisateur. Voyez le message système comme la description de poste, et le message de l’utilisateur comme la demande précise que l’assistant a devant lui en ce moment.

Un exemple concret : un robot d’aide pour une bibliothèque

Imaginez une petite bibliothèque publique qui veut un assistant de clavardage sur son site Web. Voici la liste de messages qu’un développeur enverrait. Le message système vient en premier :

system: Tu es l’assistant d’aide de la Bibliothèque publique de Riverside. Réponds aux questions sur les emprunts, les cartes de bibliothèque, les heures d’ouverture, la réservation de salles et la recherche de livres. Garde tes réponses sous 80 mots et utilise un langage simple. Si tu n’es pas sûr d’une politique de la bibliothèque, dis-le et suggère à la personne d’appeler le comptoir d’accueil. Ne réponds pas aux questions sans lien avec la bibliothèque; ramène poliment la conversation sur le sujet. Ne demande jamais de numéro de carte ni de renseignements personnels.

user: Combien de livres puis-je emprunter à la fois, et pour combien de temps?

La réponse du modèle revient sous forme de message assistant. Pour poursuivre la conversation, le développeur ajoute cette réponse et le message suivant de l’utilisateur à la liste, puis renvoie toute la liste; les exemples d’OpenAI transmettent la conversation jusque-là à chaque requête.

Testez-le maintenant. Une bonne conversation de test couvre le cas normal, un cas limite et une tentative de détourner le robot de sa tâche :

Les vraies règles de la bibliothèque comptent ici. Le message système ci-dessus ne contient pas les limites de prêt réelles : un robot bien conçu devrait donc dire qu’il n’est pas sûr plutôt que d’en inventer une. Pour donner des réponses justes, le développeur devrait ajouter les vraies politiques au message système ou au message de l’utilisateur.

Comment en rédiger un qui garde l’assistant concentré sur sa tâche?

Commencez par l’identité et la portée dans la première phrase : qui est l’assistant et quels sujets il couvre. Ajoutez ensuite les règles de format (longueur, ton, niveau de lecture) et les règles de limites (ce qu’il doit refuser, quand il doit admettre qu’il ne sait pas). Des consignes courtes et concrètes fonctionnent mieux que des consignes vagues; « sous 80 mots » est plus facile à suivre que « sois concis ». Le cookbook d’OpenAI illustre l’idée avec une même question sur les fractions envoyée sous deux messages système : l’un met en place un assistant d’enseignement chaleureux qui explique en profondeur avec des exemples, l’autre un assistant laconique qui garde ses réponses brèves.

Ensuite, renforcez-le. Comme gpt-3.5-turbo peut s’éloigner du message système, répétez la ou les deux règles les plus importantes dans le message de l’utilisateur que votre application envoie, par exemple en ajoutant « Réponds seulement au sujet des services de la bibliothèque » avant la question de la personne. Vous pouvez aussi inclure quelques échanges d’exemple entre l’utilisateur et l’assistant pour montrer le style voulu, une technique appelée few-shot prompting (le prompt à quelques exemples).

Enfin, surveillez votre budget de jetons. Le modèle traite jusqu’à 4 096 jetons par requête, et cette limite couvre le message système, tout l’historique de la conversation et la réponse. À 0,002 $ US par 1 000 jetons, un long message système coûte peu, mais il est envoyé avec chaque requête : retirez donc tout ce qui ne change pas le comportement du robot. Puis refaites votre conversation de test après chaque modification.