Comment les chercheurs peuvent-ils utiliser des outils d’IA comme Elicit pour trouver et trier des articles?

Une revue de littérature commence habituellement par une étape longue et fastidieuse : essayer mot-clé après mot-clé dans une base de données, ouvrir des dizaines de résumés et copier les éléments utiles dans un tableur. Les outils fondés sur de grands modèles de langage commencent à prendre en charge une partie de ce travail. L’un d’eux est Elicit, conçu par Ought, un laboratoire de recherche en apprentissage automatique. Sa propre description est brève : un assistant de recherche propulsé par GPT-3 qui vous aide à chercher des publications, à trouver des idées de questions de recherche et à classer des données.

Ce qui distingue Elicit d’un moteur de recherche ordinaire, c’est ce qu’on lui donne. Vous n’avez pas à deviner les bons mots-clés. Vous posez une question comme vous la poseriez à un collègue, et Elicit cherche des articles qui y répondent.

Ce que fait Elicit dans son processus de revue de littérature

Le processus principal s’appelle Explore research questions (explorer des questions de recherche). Vous tapez une question, et Elicit renvoie une liste d’articles. Pour chacun, il peut afficher :

• Une réponse à votre question, une courte ligne qu’Elicit rédige pour cet article;
• La phrase la plus pertinente, le passage qu’il a choisi comme meilleure correspondance;
• Le nombre de citations, au total et en citations « influentes », ce qui donne une idée de l’attention qu’un article a reçue;
• Un lien vers Semantic Scholar, un moteur de recherche universitaire gratuit où vous pouvez lire le résumé et trouver le texte intégral.

Vous pouvez passer d’une liste à un tableau, filtrer par année de publication et par type d’étude (par exemple les revues systématiques ou les méta-analyses), et marquer d’une étoile les articles qui semblent utiles. Les étoiles comptent : Elicit peut ensuite charger d’autres articles semblables à ceux que vous avez marqués et écarter le reste. Quand vous avez terminé, les résultats peuvent être téléchargés dans un fichier CSV, le format de tableau simple que n’importe quel tableur peut ouvrir.

Une recherche concrète, étape par étape

Supposons qu’une étudiante aux cycles supérieurs veuille savoir si de courts programmes de pleine conscience réduisent l’anxiété chez les étudiants universitaires. Voici une façon raisonnable d’utiliser Elicit pour un premier passage.

1. Posez une question ciblée. Quelque chose comme « Les interventions brèves de pleine conscience réduisent-elles l’anxiété chez les étudiants universitaires? ». Une question qui nomme l’intervention, le résultat mesuré et la population donne de meilleures correspondances que « pleine conscience anxiété ».
2. Filtrez par type d’étude. Commencez par les revues systématiques et les méta-analyses. Une méta-analyse combine statistiquement les résultats de nombreuses études; quelques bonnes méta-analyses peuvent donc dresser rapidement le portrait du domaine.
3. Marquez ce qui convient. Lisez les réponses générées et les phrases pertinentes, marquez d’une étoile les articles qui correspondent à votre population et à votre résultat, puis demandez-en d’autres semblables à ceux que vous avez marqués.
4. Élargissez le filet. Retirez le filtre de type d’étude pour trouver des essais individuels, et fixez une période si vous ne voulez que des travaux récents.
5. Exportez et construisez votre propre tableau. Téléchargez le fichier CSV, ouvrez-le dans un tableur et ajoutez les colonnes dont votre revue a besoin.

Un tableau des résultats tout simple pourrait ressembler à ceci, avant toute vérification :

La dernière colonne est la plus importante. Tant qu’elle n’indique pas « oui », une ligne est une piste, pas un résultat.

Ce à quoi ces outils servent bien, et ce à quoi ils ne servent pas

Elicit est fort à l’étape initiale et large d’une revue. Il peut faire ressortir des articles qu’une recherche par mots-clés pourrait manquer parce qu’ils emploient un vocabulaire différent, et il vous donne rapidement une idée de la quantité de travaux publiés sur une question. L’affichage en tableau et l’exportation en CSV épargnent des heures de copie.

Il ne remplace pas la lecture. La réponse générée est produite par un modèle de langage, et l’interface elle-même rappelle aux utilisateurs qu’il s’agit d’une technologie nouvelle et que les résultats demandent du jugement. OpenAI, qui conçoit GPT-3, dit clairement que même ses modèles les plus récents, qui suivent les consignes, inventent encore parfois des faits. Une ligne de résumé peut avoir l’air sûre d’elle tout en se trompant sur le sens d’un effet, sur la population ou sur la taille d’une étude.

Il y a aussi des limites de couverture. Un outil ne peut renvoyer que les articles qu’il peut trouver et lire, et beaucoup d’études sont derrière un mur payant ou n’existent qu’en texte intégral, sans bon résumé. Une revue systématique exige toujours les recherches formelles, les critères d’inclusion et la documentation qu’attend votre domaine.

Comment vérifier les résumés à partir des articles?

Traitez chaque ligne générée comme une affirmation à vérifier. Ouvrez la page de l’article par le lien Semantic Scholar et lisez vous-même le résumé. Vérifiez ensuite quatre éléments par rapport à la ligne de votre tableau : la population (qui a été étudié), l’intervention ou l’exposition, le résultat qui a été mesuré et le sens du résultat. La plupart des erreurs d’un résumé généré se trouvent dans l’un de ces quatre éléments.

Pour tout ce que vous prévoyez de citer, allez au-delà du résumé. Les résumés condensent les résultats et laissent parfois de côté les limites; lisez donc les sections sur la méthode et les résultats, et notez dans vos propres mots la taille de l’échantillon et les principaux chiffres. Si vous ne pouvez pas obtenir le texte intégral, indiquez « résumé seulement » dans la ligne pour vous rappeler son statut.

Une routine pratique consiste à vérifier par couches. Vérifiez chaque article que vous allez citer. Vérifiez ensuite un échantillon aléatoire des autres, par exemple un sur cinq. Si l’échantillon révèle des erreurs, vérifiez-les tous. Avec le temps, vous apprendrez où l’outil a tendance à déraper dans votre domaine, et vous pourrez décider dans quelle mesure lui confier le premier balayage. Le but : de la rapidité pour trouver les articles, et du soin pour les décrire.