# Qu’est-ce qui vient après le Transformer?

Date: 2026-07-03 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-qui-vient-apres-le-transformer/

**Answer:** Aucune conception n’a remplacé le Transformer, mais trois pistes de recherche sont sérieusement mises à l’épreuve : les modèles à espace d’états comme Mamba, qui lisent le texte en un seul passage avec une mémoire de taille fixe; les hybrides, qui combinent quelques couches d’attention avec de nombreuses couches à espace d’états; et les modèles de langage par diffusion, qui écrivent tout un passage d’un coup puis le raffinent. Chacune corrige un vrai coût du Transformer et apporte ses propres limites.

Le Transformer, présenté en 2017, est la conception derrière presque tous les robots conversationnels connus. Sa pièce maîtresse, l’**attention**, permet à chaque mot d’un texte de regarder tous les autres mots pour décider de ce qui compte. C’est puissant, et c’est aussi coûteux : doublez la longueur de l’entrée, et le travail de comparaison de chaque paire de mots est environ multiplié par quatre. Un long document, une grande base de code ou une heure d’audio deviennent coûteux à traiter.

Les chercheurs cherchent depuis des années des conceptions qui gardent la qualité du Transformer à moindre coût. Au milieu de 2026, la réponse n’est pas « quelque chose de complètement nouveau », mais un ensemble d’idées concurrentes, dont certaines se retrouvent déjà dans des modèles publics. Voici les trois dont on parle le plus, ce qu’elles changent et où elles restent insuffisantes.

## Le coût qu’on cherche à réduire

Quand un Transformer génère du texte, il garde un **cache KV** (pour *key-value*, clé-valeur) : des notes enregistrées sur chaque jeton précédent (un jeton est un mot ou une partie de mot) pour ne pas avoir à les recalculer à chaque nouveau jeton. Cette mémoire grossit à chaque jeton. L’équipe derrière Jamba, un modèle hybride décrit plus bas, donne un chiffre concret : Mixtral, un modèle Transformer bien connu, a besoin d’environ 32 Go pour ce cache avec un contexte de 256 000 jetons. C’est de la mémoire qu’une carte graphique ne peut consacrer à rien d’autre, et c’est l’une des raisons pour lesquelles les réponses à long contexte sont lentes et coûteuses.

## Piste 1 : les modèles à espace d’états

Un **modèle à espace d’états** (*state-space model*, SSM) lit une séquence une étape à la fois et garde un résumé de taille fixe, appelé l’**état**, qu’il met à jour au fur et à mesure. Pensez à un lecteur qui tient une seule page de notes au lieu de relire tout le livre avant chaque phrase. Comme le résumé ne grossit pas, le coût n’augmente qu’en proportion de la longueur de l’entrée, ce que les chercheurs appellent une croissance **linéaire**.

Les premiers SSM étaient rapides, mais moins bons en langage. En décembre 2023, Albert Gu et Tri Dao ont publié **Mamba**, qui fait dépendre les règles de mise à jour du modèle du jeton qu’il est en train de lire. Cela lui permet de décider, mot par mot, ce qu’il inscrit dans ses notes et ce qu’il laisse s’estomper. Les auteurs rapportent un débit de génération environ cinq fois supérieur à celui d’un Transformer, et ont constaté qu’un Mamba de 3 milliards de paramètres égalait des Transformers deux fois plus gros dans leurs tests de langage.

La limite : un résumé de taille fixe doit oublier quelque chose. C’est dans les tâches qui dépendent d’un détail exact du prompt, ou de la reproduction d’un modèle montré dans des exemples, que cela se voit, comme l’explique la dernière section ci-dessous.

## Piste 2 : les hybrides

Un **hybride** garde un petit nombre de couches d’attention pour la recherche précise et utilise des couches SSM pour le reste. Jamba, publié en mars 2024, utilise une couche d’attention pour sept couches Mamba. Ses auteurs rapportent que cela a réduit le cache KV à environ 4 Go à 256 000 jetons, le huitième du chiffre de Mixtral, avec des résultats proches de ceux de Mixtral et de Llama 2 70B de Meta aux tests standard. Ils ont aussi constaté que l’hybride faisait mieux que chacune des deux conceptions pures dans leurs expériences à petite échelle.

## Piste 3 : les modèles de langage par diffusion

La troisième idée change la façon de produire le texte plutôt que la façon de le lire. Les modèles standard sont **autorégressifs** : ils écrivent un jeton après l’autre, de gauche à droite. Un modèle par **diffusion**, l’approche derrière de nombreux générateurs d’images, part du bruit et raffine l’ensemble du résultat en plusieurs étapes. Pour le texte, le « bruit », ce sont des mots masqués. En février 2025, les chercheurs Shen Nie, Chongxuan Li et leurs collègues ont présenté **LLaDA**, un modèle de 8 milliards de paramètres entraîné à remplir des jetons masqués. Il a obtenu des résultats à peu près équivalents à ceux des modèles autorégressifs que les auteurs avaient entraînés pour comparaison, et s’est montré concurrentiel avec Llama 3 8B de Meta pour l’apprentissage à partir d’exemples dans le prompt. La limite, pour l’instant, tient à l’échelle et aux preuves : les résultats publiés portent surtout sur des tailles bien inférieures à celles des plus gros modèles commerciaux, et l’avantage à ces tailles reste une question ouverte.

## Une comparaison concrète

Le tableau résume les compromis. Les chiffres viennent des rapports de chaque article; la colonne « Bon usage » est une lecture raisonnable de ces résultats, pas une mesure.

| | Transformer | Espace d’états (Mamba) | Hybride (Jamba) | Diffusion (LLaDA) |
|---|---|---|---|---|
| Façon de lire | Chaque jeton se compare à tous les autres | Un seul passage, état de taille fixe | Surtout un seul passage, quelques couches d’attention | Un Transformer à l’intérieur, mais remplit plusieurs jetons par étape |
| Mémoire pour une longue entrée | Grossit avec la longueur | Fixe | Petite (cache 8 fois plus petit dans Jamba) | Pas le sujet de l’article |
| Point faible connu | Coût sur les très longues entrées | Rappel exact, apprentissage à partir d’exemples | Plus complexe à concevoir et à régler | Testé surtout à taille modeste |
| Bon usage | Usage général | Très longues séquences : texte, audio, génomique | Longs documents à moindre coût | La recherche, pour l’instant |

> **À essayer :** choisissez une tâche que vous confiez à un modèle d’IA, comme résumer un long rapport ou répondre à une question sur une clause. À l’aide du tableau, déterminez quel point faible nuirait le plus à cette tâche, et pourquoi.

## Que sont les modèles à espace d’états et les modèles hybrides?

Un modèle à espace d’états est un modèle de séquences qui transporte un résumé continu de tout ce qu’il a lu jusque-là et met ce résumé à jour à chaque nouveau jeton. Il ne conserve pas chaque jeton passé comme le fait l’attention : il utilise donc la même mémoire, que l’entrée fasse une page ou un livre, et son coût croît au même rythme que la longueur. L’apport de Mamba a été de rendre cette mise à jour sélective, pour que le modèle choisisse quoi retenir en fonction du contenu.

La faiblesse est le revers de la force. L’équipe de Jamba a testé un modèle Mamba pur et a constaté qu’il ignorait souvent le format de réponse attendu quand on lui donnait des exemples. Quand on lui demandait d’étiqueter des critiques de films comme « Positive » ou « Negative », il répondait par des expressions comme « Very Good » ou « 3/10 ». Les auteurs y voient une difficulté d’**apprentissage en contexte** (*in-context learning*), c’est-à-dire saisir un modèle à partir d’exemples dans le prompt, ce que l’attention fait bien.

Un modèle hybride combine les deux : surtout des couches à espace d’états pour une lecture longue et peu coûteuse, plus quelques couches d’attention capables de revenir en arrière avec précision. Dans le cas de Jamba, l’ajout de ces quelques couches d’attention a rétabli un comportement semblable à celui d’un Transformer au test de format, tout en conservant la plus grande partie des économies de mémoire. Ce compromis, un peu d’attention contre beaucoup d’efficacité, explique pourquoi les hybrides sont, pour l’instant, la réponse la plus pratique à la question de ce qui vient après le Transformer : pas un remplaçant, mais un Transformer dont on a remplacé la plupart des pièces coûteuses.

## Sources

- Mamba: Linear-Time Sequence Modeling with Selective State Spaces: https://arxiv.org/abs/2312.00752
- Jamba: A Hybrid Transformer-Mamba Language Model: https://arxiv.org/abs/2403.19887
- Large Language Diffusion Models: https://arxiv.org/abs/2502.09992