Les détecteurs d’IA peuvent-ils savoir si un élève a utilisé ChatGPT?

Un détecteur d’IA est un programme qui lit un texte et estime s’il a été produit par une personne ou par un modèle de langage. Beaucoup d’enseignants en ont essayé depuis l’apparition de ChatGPT, dans l’espoir d’obtenir une réponse rapide à une question difficile. Les données disponibles jusqu’ici indiquent que la réponse qu’ils donnent est trop souvent fausse pour justifier une décision concernant un élève.

Le signal le plus clair vient d’OpenAI, l’entreprise qui fabrique ChatGPT. En janvier, elle a lancé un classificateur gratuit pour repérer les textes écrits par l’IA. Le 20 juillet, elle a mis l’outil hors ligne et ajouté à son annonce une note qui invoquait le faible taux d’exactitude du classificateur. L’entreprise dit qu’elle cherche maintenant de meilleures façons de retracer la provenance d’un texte.

Comment fonctionnent les détecteurs, et pourquoi ils trébuchent

La plupart des détecteurs cherchent une écriture statistiquement prévisible. Un modèle de langage a tendance à choisir des mots probables dans un ordre probable; son texte a donc souvent une faible perplexité, une mesure de la surprise qu’éprouve un modèle devant chaque mot suivant. L’écriture humaine est habituellement plus inégale.

Le problème, c’est que beaucoup de textes humains sont prévisibles eux aussi. Les réponses courtes, les dissertations stéréotypées, les rapports de laboratoire et les listes suivent tous des modèles familiers. Les propres notes d’OpenAI sur son classificateur en énuméraient les points faibles : il était très peu fiable sur les textes de moins de 1 000 caractères, beaucoup moins bon dans les langues autres que l’anglais, peu fiable sur le code, et parfois sûr de lui à tort au sujet de textes humains. OpenAI prévenait aussi que quelques retouches à un texte écrit par l’IA pouvaient suffire à le déjouer.

Une équipe de Stanford dirigée par Weixin Liang a testé sept détecteurs très utilisés, dont GPTZero et un détecteur d’OpenAI. Sur des textes d’élèves américains de huitième année, les détecteurs étaient presque parfaits. Sur 91 textes écrits pour le TOEFL, un test de compétence en anglais, par des personnes dont l’anglais n’est pas la langue maternelle, ils en ont étiqueté plus de la moitié comme générés par l’IA, avec un taux moyen de faux positifs de 61 %. Dix-huit de ces textes ont été signalés par les sept outils, et 89 des 91 par au moins un. Un faux positif, ici, c’est un élève honnête accusé. Les auteurs ont attribué le problème au vocabulaire : des choix de mots plus simples paraissent prévisibles, si bien que les personnes qui apprennent l’anglais sont pénalisées parce qu’elles écrivent comme écrivent les apprenants.

Un exemple concret : une classe, un détecteur

Des chiffres comme « 9 % de faux positifs » peuvent sembler faibles. Voici ce qu’ils signifient dans une classe. OpenAI a indiqué que son classificateur repérait 26 % des textes écrits par l’IA et signalait à tort 9 % des textes écrits par des humains. Imaginez, à titre d’illustration, une classe de 100 textes dont 10 ont été écrits avec ChatGPT et 90 honnêtement.

Sur les 11 textes signalés, environ 8 appartiennent à des élèves qui n’ont rien fait de mal, et 7 des 10 textes écrits par l’IA passent inaperçus. Moins il y a d’élèves qui utilisent réellement l’IA, plus la part des signalements qui tombent sur des élèves innocents est grande. C’est exactement pour cette raison qu’OpenAI avait réglé son outil public de façon à limiter les faux positifs, et elle le décrivait malgré tout comme pas entièrement fiable.

Ce qu’un signalement peut vouloir dire, et ce qu’il ne peut pas vouloir dire

OpenAI a affirmé que son classificateur ne devait jamais être le principal fondement d’une décision, seulement un élément parmi d’autres. C’est la bonne façon de lire n’importe quel résultat de détecteur. Un signalement est, tout au plus, une raison d’y regarder de plus près. Ce n’est pas une preuve d’inconduite, et c’en est une particulièrement faible pour les réponses courtes, pour les élèves qui écrivent dans une langue seconde et pour tout texte que l’élève a pu beaucoup retravailler.

Que devraient plutôt faire les écoles?

Commencez par examiner le processus d’écriture plutôt que seulement le produit. Les brouillons, les plans, les notes et l’historique des versions d’un document partagé montrent comment un texte a évolué au fil du temps. Une courte conversation dans laquelle l’élève explique son argument, ou développe un paragraphe, en dit beaucoup plus à un enseignant qu’un résultat de détecteur, et elle traite l’élève équitablement.

Ensuite, fixez des règles claires pour chaque travail. Les élèves doivent savoir quand l’aide de l’IA est permise, de quel type (remue-méninges, correction grammaticale, commentaires sur un brouillon) et comment la déclarer. Certaines tâches peuvent se faire en classe, à la main ou à l’oral, où la question ne se pose pas. D’autres peuvent utiliser ChatGPT ouvertement, par exemple en demandant aux élèves de critiquer et de corriger un brouillon rédigé par l’IA. Cet exercice leur apprend aussi à quel point ces modèles se trompent souvent sur les faits.

Enfin, si une école utilise quand même un détecteur, elle devrait traiter le résultat comme une invitation à la conversation, jamais comme une preuve, et faire particulièrement attention aux élèves qui apprennent l’anglais. Les auteurs de Stanford vont plus loin et mettent en garde contre toute utilisation de ces outils dans des contextes d’évaluation ou d’enseignement. OpenAI a demandé aux éducateurs de lui faire part de leurs commentaires et de leurs ressources sur ce qui fonctionne dans leurs classes, signe que même les fabricants de ces outils cherchent encore la bonne approche.