Comment résumer un long rapport avec GPT-3?

Un bon résumé d’un long rapport fait gagner des heures, et GPT-3 peut en rédiger une ébauche en quelques minutes. Le hic, c’est qu’aucun modèle GPT-3 ne peut lire un long rapport d’un seul coup : même text-davinci-002, qu’OpenAI présente comme doué pour résumer à l’intention d’un public précis, accepte environ 4 000 jetons par requête, soit à peu près 3 000 mots. Le travail comporte donc deux moitiés. D’abord, vous construisez le résumé à partir de morceaux; ensuite, vous vérifiez que les morceaux forment bien un tout.

Pour rendre cela concret, nous utiliserons un rapport public que bien des lecteurs connaissent de nom : Language Models are Few-Shot Learners, l’article qui a présenté GPT-3. Il fait plus de 70 pages, bien au-delà de ce que peut contenir une seule requête.

La méthode : résumer les parties, puis le tout

L’équipe d’alignement d’OpenAI a utilisé cette stratégie l’an dernier pour résumer des romans entiers. Son système découpe un livre en morceaux, résume chacun d’eux, puis résume les résumés réunis, et recommence jusqu’à ce qu’il ne reste qu’un seul résumé. Pour un rapport, une seule ronde de combinaison suffit habituellement.

Pour l’article sur GPT-3, le corps du texte se découpe proprement selon ses propres intertitres : Introduction, Approach, Results, Measuring and Preventing Memorization of Benchmarks, Limitations, Broader Impacts, Related Work et Conclusion. La section Results est longue; donnez donc une requête distincte à chacune de ses sous-sections. Cela vous donne une quinzaine de morceaux, chacun tenant confortablement dans la fenêtre avec de la place pour la réponse.

Étape 1 : un même prompt pour chaque section

Utilisez la même consigne chaque fois pour que les morceaux s’alignent :

Tu résumes une section d’un article de recherche pour un gestionnaire qui n’est pas spécialiste.
Section : 5. Limitations

Texte :
"""
[colle la section]
"""

Rédige de 4 à 6 puces. Garde chaque nombre exactement tel qu’il est écrit. N’ajoute rien qui ne se trouve pas dans le texte.

Puces :

Deux lignes comptent plus que les autres. « Garde chaque nombre exactement tel qu’il est écrit » facilite beaucoup la vérification ultérieure. « N’ajoute rien qui ne se trouve pas dans le texte » rappelle au modèle de travailler à partir de la page plutôt que de ce qu’il a pu lire ailleurs sur GPT-3.

Étape 2 : combiner les résumés des sections

Collez les puces de chaque section, dans l’ordre et sous leurs intertitres, dans une dernière requête :

Voici des résumés en puces de chaque section d’un article de recherche, dans l’ordre.
Rédige un résumé de tout l’article en 200 mots pour un gestionnaire non spécialiste. Commence par ce qui a été construit, puis ce que cela permet de faire, puis ses limites et ses risques. Utilise seulement l’information contenue dans les puces.

[intertitres des sections et puces]

Résumé :

La consigne sur l’ordre donne une colonne vertébrale au résumé. Sans elle, les résumés combinés ont tendance à se lire comme une liste de faits dans l’ordre où ils sont arrivés; l’étude d’OpenAI sur les livres a relevé la même faiblesse, en notant que ses résumés se lisaient souvent comme une liste d’événements plutôt que comme un récit suivi.

Comment vérifier que le résumé n’a pas laissé tomber de points essentiels?

Dressez une liste de vérification à partir du rapport lui-même avant de lire le résumé, pour que le résumé ne puisse pas influencer ce que vous cherchez. Deux listes font l’essentiel du travail : les intertitres et les chiffres.

Comparez ensuite les chiffres caractère par caractère. Un résumé qui dit « 300 millions de jetons » au lieu de « 300 milliards » se lit très bien et se trompe lourdement.

Cherchez ensuite ce qui est éparpillé. Les chercheurs qui résumaient des livres signalent une vraie faiblesse du découpage : un thème qui apparaît un peu dans plusieurs sections peut être trop mineur pour survivre dans le résumé d’une seule section, et disparaît donc du résumé final. Dans un rapport, il s’agit souvent d’une mise en garde soulevée au passage à plus d’un endroit; l’article sur GPT-3, par exemple, aborde le coût de l’exploitation de très grands modèles sous Limitations, puis de nouveau sous Energy Usage. Demandez-vous à quoi les auteurs revenaient sans cesse, et vérifiez que cela s’y trouve.

Enfin, mettez le résumé à l’épreuve contre lui-même. La même étude a constaté que déplacer les limites des morceaux changeait sensiblement les résumés. Si un point compte, refaites le processus une deuxième fois avec un découpage un peu différent, ou demandez directement à GPT-3 : « Voici une section et son résumé. Énumère tout point important de la section que le résumé laisse de côté. » Traitez sa réponse comme une liste de pistes à vérifier dans l’original, pas comme un verdict final.