ChatGPT est-il fiable en mathématiques?

ChatGPT peut expliquer ce qu’est un pourcentage, détailler la résolution d’un système de deux équations et poser un problème écrit d’une façon que bien des élèves trouvent plus claire que leur manuel. Pourtant, le même robot conversationnel peut rater une multiplication et donner le mauvais produit sur le même ton assuré. Les deux sont vrais pour une seule raison : c’est un modèle de langage, pas une calculatrice.

Un modèle de langage produit du texte un petit morceau à la fois, en choisissant ce qui a le plus de chances de venir ensuite compte tenu de tout ce qui précède. Quand le morceau suivant est un mot dans une explication, « probable » et « juste » coïncident habituellement. Quand le morceau suivant est un chiffre au milieu d’une longue multiplication, aucune unité de calcul intégrée ne le vérifie. Le modèle produit des chiffres qui ont l’air justes, et la plupart du temps ils le sont, ce qui rend justement l’erreur occasionnelle facile à manquer.

Ce que montre la recherche

Ce n’est pas propre à ChatGPT. L’article de 2020 qui présentait GPT-3, la famille de modèles sur laquelle il repose, testait l’arithmétique simple. Avec quelques exemples dans le prompt, le plus grand modèle GPT-3 réussissait chaque fois l’addition de nombres à deux chiffres et environ 80 % des additions à trois chiffres, et la précision continuait de baisser à mesure que les nombres s’allongeaient. Les petits nombres sont faciles; c’est avec les longs que les erreurs apparaissent.

Les problèmes écrits ajoutent une autre difficulté : plusieurs étapes, chacune dépendant de la précédente. Un seul nombre intermédiaire erroné gâche la réponse finale. Deux articles de Google et de l’Université de Tokyo parus cette année montrent que la façon de poser la question compte beaucoup ici. Jason Wei et ses collègues ont constaté que les grands modèles résolvent plus de problèmes mathématiques à plusieurs étapes quand les exemples du prompt montrent le raisonnement écrit au long, une approche qu’ils appellent le raisonnement par étapes (chain-of-thought prompting). Takeshi Kojima et ses collègues ont constaté que le simple ajout de Let’s think step by step (« Réfléchissons étape par étape ») avant la réponse, sans aucun exemple, faisait passer la précision d’un modèle d’OpenAI, sur un ensemble de problèmes écrits d’arithmétique, d’environ 18 % à environ 79 %.

Les deux articles en montrent aussi les limites. Le raisonnement écrit au long peut contenir une petite erreur qui se propage jusqu’à la fin, et les gains dépendent d’un très grand modèle. Le prompt étape par étape rend les erreurs plus rares et plus faciles à repérer; il ne les élimine pas.

Un exemple complet : l’erreur et la correction

Voici un problème typique :

Une école commande 14 boîtes de crayons, avec 36 crayons dans chaque boîte. Elle distribue 289 crayons. Combien de crayons reste-t-il?

Une réponse type, qui va directement au résultat, pourrait se lire ainsi : « L’école a 14 × 36 = 494 crayons. Après en avoir distribué 289, il lui reste 205 crayons. » La méthode est bonne. La multiplication est fausse, donc la réponse est fausse, et rien dans le ton de la réponse ne vous en avertit.

Demandez maintenant les étapes, découpées pour que chacune soit petite :

Une école commande 14 boîtes de crayons, avec 36 crayons dans chaque boîte. Elle distribue 289 crayons. Combien de crayons reste-t-il?

Réfléchissons étape par étape. Découpe chaque multiplication en parties plus petites, montre chaque résultat intermédiaire sur sa propre ligne et donne la réponse finale sur la dernière ligne.

Une réponse type, étape par étape :

Chaque ligne est maintenant assez petite pour être vérifiée de tête ou à la calculatrice. C’est là le vrai avantage : même si le modèle se trompait encore, vous verriez à quelle ligne.

La vérification à la calculatrice. Tapez 14 × 36 − 289 dans n’importe quelle calculatrice : vous obtenez 215. Prenez cette habitude pour tout nombre que vous comptez utiliser, que ce soit dans un devoir, un budget ou une facture.

Comment l’amener à montrer sa démarche?

Demandez-la explicitement, et précisez la forme que vous voulez. « Réfléchissons étape par étape » est la version la plus courte, et l’équipe de Tokyo a constaté que cette formule fonctionnait mieux que les autres formulations testées. Vous pouvez être plus précis : « Montre chaque calcul sur sa propre ligne avant de donner la réponse » ou « Explique d’abord ta méthode, puis fais les calculs. » Demander un tableau, comme dans l’exemple ci-dessus, garde tous les nombres intermédiaires au même endroit.

Si vous voulez que le modèle suive une méthode en particulier, montrez-lui dans le prompt un exemple résolu avec la démarche écrite au long, puis donnez votre nouveau problème. C’est l’approche du raisonnement par étapes de l’article de Wei, et elle est pratique quand vous avez besoin de réponses dans un format constant, par exemple pour une feuille d’exercices.

Utilisez ensuite la démarche comme une liste de vérification plutôt que comme une garantie. Vérifiez chaque ligne, en commençant par les multiplications et les divisions, où les erreurs sont les plus probables. Si une étape est fausse, signalez-la (« L’étape 2 est fausse; 14 × 6 donne 84. Reprends à partir de là, s’il te plaît ») et laissez-le continuer. Pour tout ce où le nombre compte, c’est la calculatrice qui tranche, et le rôle de ChatGPT est de vous aider à comprendre comment on arrive à la réponse.