Qu’est-ce qu’o3 d’OpenAI, et pourquoi ses résultats aux tests font-ils les manchettes?

Hier, le 20 décembre 2024, OpenAI a clos sa série « 12 Days of OpenAI » avec une avant-première plutôt qu’un produit. Lors d’une diffusion en direct, l’entreprise a présenté o3, le successeur de son modèle de raisonnement o1, et une version plus petite appelée o3-mini. Personne à l’extérieur d’OpenAI ne peut encore les utiliser. Ce sont les chiffres qui ont attiré l’attention : o3 obtient des résultats bien supérieurs à tout ce qui avait été publié jusqu’ici à plusieurs des tests les plus difficiles en IA.

OpenAI est passée directement d’o1 à o3. Selon TechCrunch, l’entreprise a sauté « o2 » pour éviter un conflit avec la société de téléphonie britannique O2, ce que Sam Altman a plus ou moins confirmé pendant la diffusion.

Ce qu’OpenAI a montré

o3 est une famille, comme o1. Le o3 complet est le modèle le plus grand et le plus performant. o3-mini est un modèle distillé : un modèle plus petit entraîné à reproduire une bonne partie des compétences d’un plus gros modèle à moindre coût, et adapté à des tâches précises. Une nouvelle fonction permet de régler le temps de réflexion de l’un ou l’autre modèle à faible, moyen ou élevé.

Les résultats internes d’OpenAI, tels que rapportés par TechCrunch :

Ce sont les résultats internes d’OpenAI. Des tests externes montreront dans quelle mesure ils tiennent la route.

Le résultat à ARC-AGI

Un test indépendant a attiré une attention particulière. ARC-AGI est un banc d’essai de casse-têtes créé par le chercheur François Chollet pour vérifier si une IA peut acquérir une compétence pour laquelle elle n’a jamais été entraînée. Ses tâches sont conçues pour être faciles pour les humains et difficiles pour les machines, parce que chacune demande quelque chose de nouveau qu’on ne peut pas simplement retrouver dans les données d’entraînement. L’équipe d’ARC Prize note que GPT-3 a obtenu 0 % en 2020, et que GPT-4o n’a atteint que 5 % cette année.

ARC Prize a testé o3 avant l’annonce. Ses résultats :

Chollet y voit une véritable percée dans l’adaptation à de nouvelles tâches. Il ajoute toutefois deux mises en garde. D’abord, le coût : une personne peut résoudre ces casse-têtes pour environ 5 $ US chacun. Ensuite, il ne s’agit pas d’une intelligence générale comparable à celle des humains. Selon ses mots, « je ne pense pas qu’o3 soit déjà une AGI », parce qu’il échoue encore à certains casse-têtes très faciles. ARC Prize souligne aussi que l’o3 testé avait été entraîné sur la plupart des casse-têtes d’entraînement publics.

Comment fonctionne o3

Comme o1, o3 est un modèle de raisonnement. OpenAI l’a entraîné par apprentissage par renforcement, une méthode où un modèle s’améliore par essais, rétroaction et récompenses, à suivre une chaîne de pensée privée avant de répondre : il décompose le problème, essaie des approches, se vérifie et seulement ensuite répond. o3 pousse cette méthode plus loin, et consacrer plus de temps de calcul donne généralement de meilleures réponses.

Voici une image tirée de la vie courante. Demandez à un ami de préparer le plan de table d’un mariage avec des règles familiales délicates. Une réponse rapide risque d’enfreindre une règle. Un ami consciencieux note des options, les vérifie une à une par rapport à chaque règle, raye celles qui échouent et présente celle qui fonctionne. o3, c’est l’ami consciencieux, et le réglage de « calcul intensif », c’est comme donner à cet ami un après-midi au lieu de cinq minutes.

Chollet avance une hypothèse sur ce qui se passe à l’intérieur : o3 explorerait peut-être de nombreuses chaînes de raisonnement possibles pour chaque tâche, guidé par un second modèle qui juge quelles pistes semblent prometteuses. Cela expliquerait pourquoi un seul casse-tête peut consommer des dizaines de millions de jetons, les morceaux de mots que les modèles lisent et écrivent. OpenAI n’a pas confirmé ces détails.

La sécurité d’abord, la sortie plus tard

Au lieu de lancer o3, OpenAI a ouvert un programme d’accès anticipé pour les chercheurs en sécurité. Les chercheurs qualifiés peuvent demander à tester o3-mini dès maintenant, et o3 quelques semaines plus tard, pour y chercher des capacités dangereuses et concevoir de nouvelles évaluations. Les candidatures se terminent le 10 janvier. OpenAI précise que ce programme s’ajoute à ses tests internes existants, à ses équipes rouges (red teams) externes et à son travail avec les instituts de sécurité de l’IA des États-Unis et du Royaume-Uni.

OpenAI affirme aussi qu’elle aligne o3 sur ses règles de sécurité au moyen d’une technique qu’elle appelle l’alignement délibératif (deliberative alignment), décrite dans un nouvel article. TechCrunch note que des testeurs avaient constaté qu’o1 tentait de tromper les utilisateurs plus souvent que les modèles conventionnels; les résultats des tests d’o3 seront donc suivis de près.

Pourquoi c’est important

Trois mois après o1, OpenAI montre un bond important, surtout en augmentant le raisonnement plutôt qu’en entraînant simplement des modèles plus gros. Google et d’autres laboratoires conçoivent maintenant eux aussi des modèles de raisonnement, et beaucoup s’attendent à ce que cette approche marque la prochaine année.

Pour les utilisateurs ordinaires, rien ne change aujourd’hui. La leçon la plus pratique porte sur le coût : les meilleurs résultats ont nécessité d’énormes budgets de calcul. Même quand o3 arrivera, la réflexion la plus poussée coûtera probablement cher, et choisir le bon niveau d’effort pour chaque tâche fera partie d’une bonne utilisation de ces outils.

Que pouvez-vous faire en attendant qu’o3 soit offert?

Familiarisez-vous dès maintenant avec les modèles de raisonnement. Si vous payez pour ChatGPT, utilisez o1 pour les tâches où l’exactitude compte plus que la vitesse, comme les mathématiques à plusieurs étapes, la logique et le débogage. Les habitudes que vous prendrez vous serviront avec o3.

Formulez vos prompts autrement qu’avec les modèles de clavardage. Donnez l’objectif, les contraintes et ce à quoi ressemble une bonne réponse, puis laissez le modèle faire le travail étape par étape :

Objectif : un horaire d’étude hebdomadaire pour un élève qui suit 4 cours.
Contraintes : pas d’étude après 21 h, deux heures libres le dimanche, examens aux semaines 6 et 12.
Résultat : un tableau par jour, puis une courte note expliquant comment tu as équilibré les cours.

Si vous êtes chercheur en sécurité de l’IA ou en sécurité informatique, vous pouvez soumettre votre candidature au programme d’accès anticipé d’OpenAI avant le 10 janvier. Pour tous les autres, le plan décrit par Altman prévoit o3-mini vers la fin janvier, puis o3. Considérez les résultats aux bancs d’essai comme prometteurs, mais provisoires, tant que des testeurs indépendants n’auront pas eu leur tour.