Faut-il utiliser ChatGPT ou text-davinci-003 dans le Playground?

Deux nouveautés d’OpenAI sont arrivées à quelques jours d’intervalle ce mois-ci. Le 28 novembre, l’entreprise a ajouté text-davinci-003 à son API, le service payant dont les développeurs se servent pour intégrer des modèles de langage à leurs propres logiciels. Deux jours plus tard, elle ouvrait à tout le monde ChatGPT, un robot conversationnel gratuit. Les deux proviennent de la même grande famille de modèles, si bien que les gens qui ont essayé les deux demandent souvent lequel utiliser.

La réponse courte dépend moins de savoir quel modèle est le plus « intelligent » que de la façon dont vous voulez travailler. ChatGPT est une conversation. Le Playground est un établi.

Ce qu’est chacun

ChatGPT fonctionne à l’adresse chat.openai.com. Vous tapez, il répond, et il garde en vue les échanges précédents de la conversation, ce qui vous permet de dire « plus court » ou « maintenant en anglais » sans vous répéter. Il est gratuit pendant qu’OpenAI le présente comme un aperçu de recherche, et il n’offre presque aucun réglage.

text-davinci-003 est un modèle auquel vous accédez par l’API ou par le Playground, une page Web de votre compte OpenAI où vous tapez un prompt dans une grande zone de texte et où le modèle le poursuit. La note de version d’OpenAI indique qu’il s’appuie sur ses modèles InstructGPT antérieurs (des versions de GPT-3 entraînées à suivre des consignes) et qu’il améliore text-davinci-002 sur trois points : une écriture de meilleure qualité, une meilleure gestion des consignes complexes et de meilleurs textes longs. Le guide de rédaction de prompts d’OpenAI le désigne comme la meilleure option pour la génération de texte en date de novembre.

Le Playground n’est pas gratuit de la même façon. Les modèles Davinci coûtent 0,02 $ US par 1 000 jetons, en comptant à la fois votre prompt et la réponse, et un jeton correspond à environ quatre caractères de texte anglais; 1 000 jetons font donc environ 750 mots. Les nouveaux comptes reçoivent 18 $ US de crédit gratuit pour les trois premiers mois, et la page des tarifs d’OpenAI précise que l’utilisation du Playground est comptée dans votre compte comme n’importe quel autre appel à l’API.

Un test complet avec le même prompt

La façon la plus juste de choisir, c’est de confier la même tâche aux deux. Voici une marche à suivre simple.

1. Choisissez une tâche dont vous avez vraiment besoin, par exemple :

Rédige une description de produit de 120 mots pour une planche à découper en érable faite à la main. Public : les cuisiniers amateurs qui tiennent à savoir où les choses sont fabriquées. Mentionne l’entretien en une phrase. Ton simple et chaleureux.

1. Collez-le dans ChatGPT et conservez la réponse.
2. Dans le Playground, choisissez text-davinci-003, réglez la température à 0,7 et la longueur maximale à 250 jetons, collez le même prompt et appuyez sur Submit.
3. Relancez chacun deux autres fois. Dans ChatGPT, demandez une nouvelle réponse; dans le Playground, soumettez de nouveau.
4. Notez les six versions selon les trois mêmes questions : a-t-il suivi chaque consigne? La longueur est-elle bonne? La publieriez-vous après de légères retouches?

Voici le genre de comparaison à laquelle vous pourriez arriver. Elle est donnée à titre d’illustration; vos résultats varieront.

Pour des textes ponctuels et pour apprendre, bien des gens préféreront la conversation. Pour une tâche que vous comptez répéter cent fois, comme les descriptions de produits de tout un catalogue, les réglages du Playground et l’accès à l’API comptent davantage.

Que peut faire le Playground que la conversation ne peut pas faire?

Le Playground vous donne accès aux commandes derrière les réponses du modèle. Le guide de rédaction de prompts d’OpenAI indique que le modèle et la température sont les réglages que les gens modifient le plus. La température détermine à quelle fréquence le modèle choisit un mot moins probable : des valeurs plus élevées donnent un texte plus varié, souvent plus créatif, tandis que 0 donne le résultat le plus prévisible, ce qu’OpenAI recommande pour les tâches factuelles comme l’extraction de données d’un document. Varié ne veut pas dire exact : une température élevée ne rend pas les réponses plus véridiques.

La longueur maximale fixe une limite stricte au nombre de jetons que la réponse peut utiliser. C’est un plafond, pas une cible : le modèle s’arrête plus tôt s’il juge avoir terminé, et si le plafond est trop bas, le texte est coupé au milieu d’une phrase. Les séquences d’arrêt (stop sequences) vous permettent de désigner un bout de texte, comme un saut de ligne ou « ### », qui met fin à la réponse dès qu’il apparaît, ce qui est utile quand vous voulez exactement une réponse dans un format fixe. Le Playground vous permet aussi de choisir parmi les modèles, du plus performant, Davinci, à d’autres plus rapides et moins chers, et affiche un compteur de jetons pour que vous voyiez ce que coûte chaque prompt.

L’autre différence, c’est la transparence. Dans le Playground, le modèle ne voit que ce qui se trouve dans la zone de texte, si bien que vous savez exactement ce qu’on lui a donné. Les résultats sont ainsi plus faciles à reproduire et à transformer plus tard en code. ChatGPT, en échange de commandes moins nombreuses, se souvient de la conversation et rend les révisions faciles. Bien des gens utiliseront les deux : la conversation pour explorer une idée, le Playground pour obtenir une version qu’ils peuvent relancer de la même façon chaque fois.