À quoi ressemble un bon prompt pour un chercheur?

Les chercheurs demandent deux choses très différentes à ChatGPT, et une seule des deux fonctionne bien. La première, c’est de l’aide pour réfléchir : décomposer une question large, énumérer les termes que différentes disciplines utilisent pour une même idée, suggérer des devis de recherche, rédiger des chaînes de recherche, repérer les failles d’un raisonnement. Le modèle est vraiment utile ici. La deuxième, ce sont des faits sur la littérature : « Donne-moi dix articles révisés par les pairs sur ce sujet, avec les références. » C’est là qu’il échoue, parfois gravement.

La raison tient au fonctionnement d’un modèle de langage. Il écrit les mots suivants les plus probables compte tenu de tout ce qui précède. Une référence n’est qu’un motif très plausible de noms d’auteurs, d’une année, d’un titre et d’une revue; le modèle peut donc en produire une qui a l’air parfaite et qui n’existe pas. En juin, un juge de New York a imposé une amende de 5 000 $ US à chacun de deux avocats qui avaient déposé un mémoire citant des décisions judiciaires inventées par ChatGPT, dont une qu’il affirmait être réelle quand ils le lui ont demandé. Le guide de démarrage rapide de l’UNESCO sur ChatGPT dans l’enseignement supérieur, publié en avril, énonce clairement la règle générale : ChatGPT n’a aucun moyen de vérifier l’information qu’il donne.

Un bon prompt de recherche mise donc sur la première force et ferme la porte à la deuxième.

Les parties d’un prompt de recherche

ChatGPT : Le Guide Pour Débutant suggère d’indiquer à ChatGPT votre domaine de recherche, la question sur laquelle vous travaillez et les types de sources dont vous avez besoin, puis de dire comment vous voulez que les résultats soient présentés. Pour une tâche de délimitation, cela donne cinq parties :

1. Le rôle et le domaine. Nommez la discipline pour que le vocabulaire convienne.
2. La question et ses limites. La population, le milieu, la période, ce que vous laissez de côté.
3. Ce que vous voulez du modèle. Des concepts, des termes, des méthodes, des chaînes de recherche, des questions ouvertes : des choses que vous pouvez vérifier.
4. La règle des sources. Aucun article, auteur ou statistique précis, à moins que vous ne les ayez fournis.
5. Le format. Un tableau ou des sections numérotées que vous pouvez parcourir.

Un exemple complet : délimiter une revue de la littérature

Voici un prompt pour une étudiante aux cycles supérieurs qui entreprend une revue sur la question de savoir si les arbres de rue réduisent la chaleur estivale en ville :

Tu es un bibliothécaire de recherche d’expérience en sciences de l’environnement urbain.

Ma question : dans quelle mesure les arbres de rue et la canopée urbaine réduisent-ils la chaleur estivale au niveau de la rue dans les villes nord-américaines de taille moyenne, et qui en profite le plus?

Aide-moi à délimiter la littérature. Donne-moi :
1. Les 5 à 7 sous-thèmes qu’une revue sur cette question devrait couvrir.
2. Pour chaque sous-thème, les termes clés et les synonymes qu’utilisent différentes disciplines (par exemple l’écologie, l’urbanisme, la santé publique).
3. Les devis de recherche et les mesures courants, avec une phrase sur la force et la faiblesse de chacun.
4. Deux chaînes de recherche booléennes que je peux coller dans une base de données comme Web of Science ou Scopus.
5. Trois questions ouvertes ou débats que je devrais chercher.

Règles : ne nomme aucun article, auteur, revue ou statistique précis. Si tu n’es pas sûr qu’un terme soit standard, dis-le. Présente les parties 1 à 3 sous forme de tableau.

Chaque élément de cette réponse se vérifie en quelques minutes : lancez les chaînes de recherche, voyez si les termes donnent des travaux pertinents et gardez ce qui tient la route. Si une réponse ne correspond pas à ce que vous trouvez dans la base de données, c’est la base de données qui l’emporte.

Une fois que vous avez de vrais articles, le modèle redevient utile, cette fois avec un texte que vous fournissez. Collez un résumé et demandez de la structure :

Voici le résumé d’un article que j’examine. Extrais : la ville et le climat, le devis de recherche, la façon dont la chaleur a été mesurée, le résultat principal et toute limite que les auteurs mentionnent. Cite la phrase d’où provient chaque élément. Si un élément ne figure pas dans le résumé, écris « non mentionné ».

Résumé : """[collez le résumé]"""

Demander la phrase exacte derrière chaque élément rend les erreurs faciles à repérer, et « non mentionné » donne au modèle une porte de sortie honnête au lieu d’une raison de deviner.

Où le modèle aide, et où il n’aide pas

Le livre recommande de travailler par rondes : commencer de façon générale, lire la réponse, puis préciser la demande avec plus de contexte. La délimitation d’une recherche suit bien ce rythme. Chaque ronde de recherche vous apprend quelque chose à réinjecter dans le prompt suivant.

Comment garder vos sources honnêtes?

Fixez-vous une règle et respectez-la sans exception : aucune référence n’entre dans votre travail à moins que vous ne l’ayez trouvée dans une base de données, un catalogue de bibliothèque ou une bibliographie, et que vous l’ayez ouverte. Un titre fourni par ChatGPT peut être une piste à chercher, jamais une référence. Si la recherche ne trouve rien, supposez qu’il n’existe pas.

Ensuite, séparez le texte du modèle de celui de la source. Quand vous demandez des résumés, donnez-lui la source et demandez-lui de citer les phrases sur lesquelles il s’est appuyé, comme dans le prompt d’extraction ci-dessus. Vérifiez ensuite quelques-unes de ces citations dans l’article. C’est dans la paraphrase sans citation que se glissent les petites distorsions, comme un résultat énoncé plus fermement que ne l’ont fait les auteurs.

Enfin, gardez une trace. Conservez vos prompts, les dates où vous les avez lancés, ainsi que les réponses que vous avez utilisées et la façon dont vous les avez utilisées. Le guide de l’UNESCO note que la question de savoir si une IA peut être considérée comme autrice fait encore débat, et que certains éditeurs soutiennent qu’un modèle ne peut pas assumer la responsabilité d’un article. Un court journal permet de décrire facilement et avec exactitude votre usage de l’IA dans une section sur la méthode, et de montrer que chaque source de votre bibliographie vient de vous, pas du modèle.