Comment les modèles de raisonnement décident-ils combien de temps réfléchir?

Un modèle de raisonnement écrit une chaîne de pensée privée avant de donner sa réponse : il décompose le problème en étapes, essaie une approche, la vérifie et recommence parfois. Cette réflexion est faite de jetons, les mêmes petits morceaux de texte qui composent la réponse visible. Le modèle produit un jeton à la fois, et à chaque point, il choisit en pratique s’il continue de raisonner ou s’il commence la réponse. C’est pourquoi il n’y a pas de temps de réflexion fixe. Une question d’arithmétique simple peut prendre une poignée de jetons de raisonnement; une énigme logique coriace peut en prendre des milliers.

La longueur de la réflexion est donc décidée par le modèle, en fonction du problème. Ce que vous contrôlez, comme utilisateur ou comme développeur, c’est la pression exercée sur cette décision et un plafond strict.

Les commandes à votre disposition

OpenAI et Anthropic offrent des boutons de réglage différents pour cela.

Deux détails comptent. D’abord, ce sont des limites et des indications, pas des cibles. La documentation d’Anthropic note que Claude peut ne pas utiliser tout son budget, surtout avec des budgets de plus de 32 000 jetons. Ensuite, la réflexion coûte de l’argent même si vous ne la voyez pas. OpenAI compte les jetons de raisonnement dans le total de la réponse pour la facturation et pour la limite de la fenêtre de contexte, et Anthropic facture les jetons de réflexion comme des jetons de sortie.

Un test commenté avec o3-mini

La meilleure façon de comprendre l’effort, c’est de le mesurer sur vos propres questions. Ce court script utilise la bibliothèque Python officielle openai pour envoyer la même question aux trois niveaux et afficher combien de jetons de raisonnement chacun a utilisés. Il a besoin d’une clé d’API dans la variable d’environnement OPENAI_API_KEY.

from openai import OpenAI

client = OpenAI()

QUESTION = (
    "Une boulangerie vend des muffins en boîtes de 4 et de 6. "
    "Énumère toutes les façons d'acheter exactement 38 muffins, et explique comment tu sais que la liste est complète."
)

for effort in ["low", "medium", "high"]:
    response = client.chat.completions.create(
        model="o3-mini",
        reasoning_effort=effort,
        max_completion_tokens=20000,
        messages=[{"role": "user", "content": QUESTION}],
    )
    usage = response.usage
    reasoning = usage.completion_tokens_details.reasoning_tokens
    print(f"{effort:>6} : {reasoning} jetons de raisonnement, "
          f"{usage.completion_tokens} jetons de réponse au total")
    print(response.choices[0].message.content[:300], "\n")

L’objet usage de chaque réponse indique les jetons de réponse, dont reasoning_tokens, la partie consacrée à la réflexion. Pour convertir cela en argent, multipliez par le prix de sortie : o3-mini coûte 4,40 $ US par million de jetons de sortie dans la liste de prix d’OpenAI ce mois-ci.

Voici le genre de résultat auquel vous attendre. Ces chiffres sont donnés à titre d’illustration, ils n’ont pas été mesurés; lancez le script pour obtenir les vôtres.

La tendance qu’illustre le tableau est courante : low est le moins cher et le plus rapide, medium ajoute du soin, et high coûte le plus cher pour peu de gain sur une question aussi facile. Sur un problème vraiment difficile, l’écart de qualité entre low et high peut être beaucoup plus grand.

Fixer un plafond raisonnable

Fixez toujours un plafond, mais laissez de la marge. Comme max_completion_tokens couvre à la fois la réflexion et la réponse visible, un plafond serré sur un problème difficile peut être épuisé par le raisonnement et tronquer la réponse. Avec Claude, Anthropic suggère de commencer au budget minimum et de l’augmenter par paliers jusqu’à ce que la qualité cesse de s’améliorer, et recommande le traitement par lots pour les budgets de plus de 32 000 jetons, afin d’éviter les délais d’expiration.

Que change le « reasoning effort »?

Il change la quantité de réflexion que le modèle est encouragé à faire avant de répondre, et donc trois choses que vous pouvez sentir : la vitesse, le coût et, sur les problèmes difficiles, l’exactitude. La spécification d’OpenAI le dit clairement : réduire l’effort peut donner des réponses plus rapides et consacrer moins de jetons au raisonnement.

Il ne change pas le modèle. o3-mini à effort élevé reste o3-mini, avec les mêmes connaissances et les mêmes limites. L’effort ne peut pas fournir des faits que le modèle n’a pas; pour cela, vous devez donner du contexte dans le prompt ou utiliser un outil comme la recherche.

Utilisez un effort faible pour le travail routinier : classer des messages, faire des calculs simples, de petites corrections de code, tout ce dont vous vérifierez le résultat de toute façon. Gardez l’effort moyen, la valeur par défaut, pour la plupart des questions qui demandent un peu de soin. Réservez l’effort élevé aux problèmes où une mauvaise réponse coûte cher, comme les mathématiques complexes, la logique à plusieurs étapes ou du code délicat, et confirmez par vos propres tests qu’il aide vraiment. Comme le réglage est un seul paramètre, vous pouvez le choisir requête par requête, en envoyant la plupart des requêtes à low ou à medium et en réservant high aux questions qui le méritent.