Qu’a découvert la recherche en interprétabilité à l’intérieur des modèles de langage?

L’interprétabilité est le domaine de recherche qui tente d’expliquer comment un modèle d’IA produit ses réponses en regardant à l’intérieur, plutôt que seulement ce qui entre et ce qui sort. Pour les modèles de langage, c’est difficile. Pendant qu’un modèle travaille, son état interne est une longue liste de nombres, les activations de ses neurones artificiels, et aucun de ces nombres ne vient avec une étiquette.

Ces dernières années, des chercheurs d’Anthropic, d’OpenAI et d’autres laboratoires ont construit des outils qui transforment certains de ces nombres en concepts qu’une personne peut reconnaître. Les résultats sont réels, mais partiels : une collection croissante de découvertes sur ce que les modèles représentent et sur la façon dont certaines réponses sont assemblées, et en même temps une idée claire de tout ce qui reste dans l’ombre.

Les caractéristiques : trouver des concepts parmi les nombres

Le premier obstacle, c’est qu’un neurone seul signifie rarement une seule chose. Anthropic décrit chaque concept comme réparti sur de nombreux neurones, chaque neurone participant à de nombreux concepts. Lire les neurones un par un, c’est comme essayer de comprendre une chorale en écoutant une seule choriste qui change sans cesse de chanson.

La solution de contournement est une méthode appelée apprentissage de dictionnaire (dictionary learning), généralement réalisée avec un autoencodeur parcimonieux (sparse autoencoder) : un deuxième réseau, plus simple, entraîné à réécrire les activations du modèle comme une combinaison de quelques éléments tirés d’une liste beaucoup plus longue. Chaque élément qui garde toujours le même sens s’appelle une caractéristique (feature).

En mai 2024, Anthropic a annoncé avoir extrait des millions de caractéristiques de Claude 3 Sonnet, lues dans une couche située à mi-chemin du modèle. Certaines correspondaient à des choses concrètes, comme des villes, des personnes, des éléments chimiques et de la syntaxe de programmation; une caractéristique du pont Golden Gate réagissait au nom du pont dans plusieurs langues et à des photos du pont. D’autres étaient abstraites : bogues dans le code, discussions sur les biais de genre, garder des secrets, éloges complaisants. Un mois plus tard, une équipe de chercheurs d’OpenAI a publié un article sur la mise à l’échelle des autoencodeurs parcimonieux et en a entraîné un de 16 millions de caractéristiques sur les activations de GPT-4, montrant que la méthode fonctionne aussi sur de très grands modèles.

Les circuits : suivre une pensée de la question à la réponse

Une liste de concepts n’explique pas le raisonnement. En mars 2025, Anthropic a publié des travaux qui relient les caractéristiques en circuits, les chemins qui transforment les mots qui entrent dans un modèle en mots qui en sortent, et a étudié Claude 3.5 Haiku sur des tâches simples. Voici une série concrète de ces expériences, toutes construites de la même façon : trouver une caractéristique, la modifier et observer la réponse.

La dernière ligne est frappante. Quand on lui a demandé comment il avait obtenu 95, le modèle a décrit la retenue, la méthode enseignée à l’école, alors que ses circuits montraient autre chose. Anthropic a aussi trouvé des cas où, après avoir reçu un indice erroné sur un problème difficile, le modèle écrivait un raisonnement qui remontait à rebours pour donner raison à l’utilisateur. Autrement dit, l’explication qu’un modèle donne de sa propre réflexion n’est pas une vue fiable de son fonctionnement interne.

Une analogie aide. Les caractéristiques sont comme les mots du vocabulaire privé d’un modèle; les circuits, comme les phrases qu’il construit avec eux. Jusqu’ici, la recherche a compilé un dictionnaire partiel et fait l’analyse de quelques phrases courtes.

Les limites que rapportent les chercheurs

Les chercheurs sont francs au sujet des lacunes. Anthropic dit que les caractéristiques trouvées ne sont qu’un petit sous-ensemble de ce que son modèle a appris, et que les trouver toutes avec la même méthode demanderait plus de puissance de calcul que l’entraînement du modèle lui-même. Sa méthode de traçage des circuits ne capte qu’une fraction du calcul, même pour de courts prompts, peut montrer des artefacts des outils plutôt que du modèle, et exige quelques heures de travail humain pour comprendre un prompt de quelques dizaines de mots. La plupart des résultats viennent d’exemples simples et choisis, et non des tâches longues et désordonnées que les gens confient aux modèles tous les jours.

Est-ce que cela rend les modèles plus sûrs?

Pas encore directement, mais cette recherche construit des outils qui pourraient le faire. Certaines découvertes touchent déjà à la sécurité. Anthropic a repéré des caractéristiques liées aux courriels frauduleux, à des comportements comme la manipulation, la recherche de pouvoir et le secret, et à la flatterie; quand elle a fortement activé la caractéristique des courriels frauduleux, le modèle a écrit un courriel frauduleux qu’il aurait normalement refusé d’écrire. Ses travaux sur les circuits ont montré que refuser de répondre est un comportement par défaut que la reconnaissance d’un nom familier désactive, et que les ratés de cet interrupteur peuvent produire des réponses inventées, une vue concrète de l’une des sources des hallucinations.

Les usages espérés sont de surveiller les états internes d’un modèle pour y repérer des signes d’alerte comme la tromperie, de l’éloigner de comportements indésirables et de vérifier s’il fait bien ce qu’il prétend faire. Anthropic rapporte que ses outils ont aidé à révéler l’objectif caché d’un modèle de test qui avait été délibérément entraîné à en poursuivre un et qui hésitait à l’admettre.

Pour l’instant, l’interprétabilité fonctionne mieux comme vérification supplémentaire, en plus des tests, des méthodes d’entraînement et de la supervision humaine, que comme garantie. Un modèle peut être en partie compris et quand même faire des erreurs, et les parties que personne n’a encore cartographiées en constituent l’essentiel.