Pourquoi les longues conversations se dégradent-elles, et quand en commencer une nouvelle?

Presque tous ceux qui utilisent ChatGPT, Claude ou Gemini pour du vrai travail l’ont vu arriver. Les vingt premiers messages vont bien. Puis l’assistant commence à ignorer une règle que vous aviez fixée au début, mélange deux versions d’une ébauche ou ramène une idée que vous avez rejetée il y a une heure. Rien n’est brisé. Vous avez atteint les limites pratiques de la façon dont ces modèles lisent une conversation.

La solution est simple une fois qu’on comprend la cause : connaître les signes avant-coureurs, et passer à une nouvelle conversation avec un résumé court et propre de ce qui compte.

Ce que le modèle voit réellement

Un robot conversationnel ne se souvient pas de votre conversation comme une personne le fait. Chaque fois que vous envoyez un message, l’application envoie au modèle la conversation jusqu’ici, ou tout ce qui en tient, et le modèle écrit une réponse à partir de ce texte seulement.

Ce texte se mesure en jetons, les morceaux de mots qu’un modèle lit. La règle approximative d’OpenAI, c’est qu’un jeton équivaut à environ quatre caractères d’anglais, soit environ les trois quarts d’un mot : 100 jetons font donc environ 75 mots. Chaque modèle a une fenêtre de contexte, le nombre maximal de jetons qu’il peut absorber d’un coup. Quand une conversation la dépasse, l’application doit laisser tomber ou compresser les parties les plus anciennes, et ce qui a été dit au début peut tout simplement ne plus y être.

Pourquoi la qualité baisse avant d’atteindre la limite

Même quand tout tient encore, plus de texte n’est pas toujours mieux. Dans une étude de 2023 intitulée Lost in the Middle (perdu au milieu), une équipe dirigée par Nelson F. Liu a donné à des modèles de langage de longues entrées dans lesquelles une information utile était cachée à différentes positions. Les modèles réussissaient généralement le mieux quand cette information se trouvait près du début ou de la fin, et le moins bien quand elle était au milieu. C’était vrai même pour des modèles conçus pour les longues entrées.

Une longue conversation est exactement ce genre d’entrée. Vos consignes d’origine se trouvent maintenant quelque part au milieu, entourées d’ébauches, de corrections et de questions secondaires. Le modèle voit aussi chaque version abandonnée de votre travail, et il ne peut pas toujours savoir laquelle vous avez retenue.

Les fabricants de robots conversationnels l’ont remarqué. En février 2023, Microsoft a plafonné le nombre de tours dans une séance de clavardage avec Bing après avoir constaté que de très longues séances pouvaient semer la confusion dans le modèle sous-jacent. Recommencer, c’est une remise à zéro dont le système lui-même a parfois besoin.

Signes qu’il est temps de commencer une nouvelle conversation

Un seul signe peut simplement demander un rappel ferme. Deux ou plus veulent généralement dire qu’un nouveau départ ira plus vite.

Comment transférer l’essentiel dans une nouvelle conversation?

Demandez à l’ancienne conversation d’écrire son propre résumé de transfert, puis vérifiez-le avant de l’utiliser. Un résumé écrit par le modèle est rapide, mais il peut oublier des choses ou garder des décisions que vous avez renversées : c’est donc vous qui restez le réviseur. Voici un exemple complet pour une personne qui prépare une infolettre communautaire :

Nous allons poursuivre ce travail dans une nouvelle conversation.
Écris un résumé de transfert que je pourrai y coller. Utilise ces titres :
1. Objectif : ce que nous faisons et pour qui.
2. Décisions : tout ce que nous avons convenu, en courtes puces.
3. Règles : ton, longueur, format et mots à éviter.
4. Rejeté : les idées dont nous avons discuté et que nous avons abandonnées, pour qu’elles ne soient pas proposées de nouveau.
5. Version actuelle : le texte le plus récent, au complet.
6. Prochaine étape : la seule chose à faire en premier.
Garde-le sous 400 mots, sauf la version actuelle.

Lisez le résultat ligne par ligne. Supprimez tout ce qui n’est plus vrai, ajoutez ce qui manque et assurez-vous que la « Version actuelle » est vraiment la plus récente. Ouvrez ensuite une nouvelle conversation et commencez-la par une ligne de mise en contexte, comme « Voici un résumé du travail déjà fait. Lis-le et confirme l’objectif et les règles avant que nous continuions », suivie du résumé.

Deux habitudes facilitent les choses. Tenez un fichier de notes à l’extérieur du robot conversationnel, où vous collez les décisions clés au fur et à mesure, pour ne jamais dépendre de la mémoire du modèle. Et placez vos règles les plus importantes en haut de la nouvelle conversation, là où, selon la recherche, elles ont le plus de chances d’être suivies. Si un projet dure des semaines, mettez à jour le résumé de transfert chaque fois que vous recommencez, et vous aurez en prime un compte rendu propre du travail.