Qu’est-ce qu’OpenAI o1, et qu’est-ce qu’un modèle de raisonnement?

Le 12 septembre 2024, OpenAI a lancé deux nouveaux modèles, o1-preview et o1-mini, dans ChatGPT et dans son API. Ce ne sont pas les prochains numéros de la gamme GPT. OpenAI affirme qu’il s’agit d’un autre type de modèle; elle a donc remis le compteur à zéro et commencé une nouvelle série appelée o1. L’idée derrière la série est simple à énoncer : avant de répondre, le modèle travaille sur le problème en privé, essaie différentes approches, se vérifie lui-même et revient en arrière quand une piste échoue. Ce n’est qu’ensuite qu’il écrit la réponse que vous voyez.

Cette réflexion supplémentaire prend du temps. Une question à laquelle GPT-4o répond en deux secondes peut prendre vingt secondes ou plus à o1-preview. En retour, OpenAI rapporte de grands bonds sur les tâches de raisonnement difficiles. À un examen de qualification pour l’Olympiade internationale de mathématiques, GPT-4o a résolu 13 % des problèmes; le nouveau modèle de raisonnement en a résolu 83 %.

Ce que veut dire « modèle de raisonnement »

Les chercheurs savent depuis quelques années que les modèles de langage réussissent mieux les problèmes à plusieurs étapes quand on leur demande de « réfléchir étape par étape ». Écrire les étapes intermédiaires, une pratique appelée chain of thought (chaîne de pensée), donne au modèle de l’espace pour travailler. Simon Willison, un développeur qui écrit beaucoup sur ces outils, décrit o1 comme un prolongement spécialisé de cette habitude de prompt.

La différence, c’est qu’o1 n’attend pas que vous le demandiez. OpenAI l’a entraîné par apprentissage par renforcement, une méthode où le modèle est récompensé quand il atteint de bons résultats, pour qu’il apprenne à produire de lui-même des chaînes de pensée utiles : découper les étapes difficiles en étapes plus petites, remarquer ses erreurs, changer de stratégie. OpenAI rapporte aussi qu’o1 s’améliore à mesure qu’on lui laisse plus de temps pour réfléchir au moment de répondre, et pas seulement à mesure qu’on l’entraîne davantage. C’est ce deuxième levier qui en fait une nouvelle catégorie.

Où o1 brille, et où il ne brille pas

Les chiffres d’OpenAI elle-même montrent clairement les forces. À l’AIME 2024, un examen de mathématiques difficile destiné aux élèves du secondaire américains, GPT-4o a obtenu en moyenne 12 % et o1, 74 %, avec un seul essai par problème. Dans les concours de programmation de Codeforces, OpenAI situe le modèle autour du 89e centile.

Le même billet de recherche est honnête sur les limites. Quand des évaluateurs humains ont comparé des réponses côte à côte, ils ont préféré o1-preview pour l’analyse de données, la programmation et les mathématiques, mais pas pour certaines tâches de rédaction et de langue. Au lancement, o1-preview ne peut pas non plus naviguer sur le Web ni accepter des fichiers ou des images téléversés, et OpenAI affirme que GPT-4o restera le choix le plus performant pour bien des demandes courantes à court terme.

Voici un guide approximatif pour choisir :

o1-mini est une version plus petite et plus rapide qu’OpenAI vend 80 % moins cher qu’o1-preview. Il est réglé pour la programmation et le raisonnement plutôt que pour une vaste culture générale.

La réflexion que vous ne voyez pas

Dans ChatGPT, vous voyez un court résumé de ce à quoi o1 a réfléchi, pas la réflexion elle-même. OpenAI explique qu’elle cache la chaîne de pensée brute pour plusieurs raisons : elle veut pouvoir surveiller ce raisonnement pour des raisons de sécurité, elle veut le garder à l’abri de l’entraînement aux politiques appliqué aux réponses finales, et elle invoque un avantage concurrentiel. Les développeurs qui utilisent l’API sont facturés pour ces « jetons de raisonnement » cachés comme pour des jetons de sortie, même s’ils ne les voient jamais, ce qui rend les coûts plus difficiles à prévoir.

L’accès est limité pour l’instant. Les abonnés de ChatGPT Plus et Team peuvent choisir l’un ou l’autre modèle dans le menu des modèles, avec des plafonds hebdomadaires de 30 messages (o1-preview) et de 50 messages (o1-mini). Dans l’API, seuls les développeurs du palier d’utilisation le plus élevé peuvent les essayer, et des fonctions comme la diffusion en continu, l’appel de fonctions et les messages système ne sont pas encore prises en charge.

Faut-il rédiger ses prompts autrement pour un modèle de raisonnement?

Oui, un peu. Bien des habitudes de prompt de l’ère GPT-4 servaient à faire ralentir le modèle : « réfléchis étape par étape », « énumère d’abord les faits, puis raisonne, puis réponds », de longs exemples détaillés. Avec o1, cette réflexion est déjà intégrée; ces consignes répètent donc surtout ce que le modèle fait de toute façon. Une question claire et directe, avec les faits dont il a besoin, est généralement le meilleur prompt.

Gardez aussi le contenu supplémentaire au minimum. La documentation d’OpenAI pour les développeurs, citée par Willison, conseille de n’inclure que les documents les plus pertinents quand vous ajoutez du contexte, pour que le modèle ne complique pas sa réponse à l’excès. Cela va à l’encontre de l’habitude courante de coller tout ce qui pourrait aider.

Ce qui compte reste le même qu’avant : dites exactement ce que vous voulez recevoir, donnez les chiffres et les contraintes, et précisez comment vous jugerez qu’une réponse est bonne. Par exemple :

Une boulangerie vend des muffins à 3 $ chacun et du café à 2 $. Samedi, elle a encaissé 410 $ et vendu 40 cafés de plus que de muffins. Combien de chaque article a-t-elle vendus? Donne les deux nombres et une phrase qui vérifie que leur total fait bien 410 $.

Remarquez ce qui manque : pas de rôle, pas de « réfléchis bien », pas de liste d’étapes. La demande et la vérification sont précises; la méthode est laissée au modèle. Si vous avez besoin de vitesse, de fichiers ou d’un ton chaleureux, revenez à GPT-4o. Si vous avez besoin d’une réponse soignée à un problème difficile, donnez à o1 une question nette et du temps pour réfléchir.