Comment fonctionne vraiment un centre de données d’IA?

Quand vous posez une question à un robot conversationnel, elle voyage jusqu’à un bâtiment où un modèle entraîné tourne sur des puces spécialisées, et la réponse revient en quelques secondes. Un centre de données d’IA, c’est ce bâtiment, agrandi au point où un seul site peut consommer autant d’électricité qu’une ville moyenne.

Un centre de données ordinaire héberge des sites Web, des courriels et des bases de données, et chaque tâche peut tourner sur sa propre machine. L’IA, c’est autre chose. Entraîner un grand modèle, c’est-à-dire ajuster des milliards de nombres internes pendant des semaines, exige que plusieurs milliers de puces travaillent en même temps sur une seule tâche. Cette exigence façonne tout le bâtiment.

La baie : là où le travail se fait

L’unité de base est la baie, une haute armoire remplie d’ordinateurs. En IA, les puces qui font l’essentiel du travail sont les GPU, des processeurs graphiques qui exécutent une foule de petits calculs en même temps. Une baie en contient bien plus qu’auparavant.

Un modèle courant aujourd’hui est le GB200 NVL72 de Nvidia. La fiche de Supermicro indique 72 GPU et 36 processeurs ordinaires (CPU) dans une seule baie, refroidis directement par liquide. La firme d’analyse SemiAnalysis évalue sa puissance à environ 120 kilowatts, et la comparaison explique pourquoi les bâtiments plus anciens ont de la difficulté :

C’est dix fois la baie d’usage général, dans une seule armoire, et c’est pourquoi un bâtiment conçu pour des serveurs ordinaires ne peut habituellement pas accueillir ces machines sans transformations majeures.

Le réseau : faire agir les puces comme une seule

Les puces qui travaillent sur un même modèle échangent constamment leurs résultats. Si les liens sont lents, des puces coûteuses attendent sans rien faire. Voilà pourquoi les 72 GPU d’un NVL72 sont reliés par une connexion dédiée à haute vitesse, et pourquoi les baies sont serrées les unes contre les autres, avec encore du réseau rapide entre elles. Un bâtiment étalé par commodité gaspillerait le matériel qu’il a payé.

Cela explique aussi une différence entre les deux grands travaux. L’entraînement profite surtout d’une immense grappe aux liens serrés. L’inférence, le travail de répondre aux utilisateurs, peut se répartir entre de plus petits groupes de puces, à plus d’endroits.

L’électricité : du réseau à la puce

L’électricité arrive à haute tension, est abaissée par des transformateurs, puis est livrée aux baies. Deux termes valent la peine d’être connus :

• La puissance informatique (IT power) est celle qu’utilise l’équipement de calcul lui-même.
• La puissance de l’installation ajoute tout le reste, surtout le refroidissement.

Epoch AI, un groupe de recherche qui suit ces sites grâce à des images satellites et à des documents publics, donne un exemple texan : un site annoncé à 1,4 gigawatt de puissance informatique atteint environ 2 gigawatts au total, en partie à cause du climat chaud et du type de refroidissement.

Les batteries comptent aussi. L’entraînement d’IA peut faire monter et descendre la consommation rapidement, et l’Agence internationale de l’énergie affirme que cela rend le stockage important pour la fiabilité. Le dossier d’Epoch sur Colossus 2, le grand site de xAI à Memphis qui appartient maintenant à SpaceX, montre une installation de batteries raccordée au bâtiment dès les premières étapes.

Le refroidissement : sortir la chaleur

Presque toute l’électricité utilisée par une puce finit en chaleur. À 120 kilowatts par baie, l’air ne suffit plus; un liquide de refroidissement circule donc dans des plaques fixées directement sur les puces. Cette chaleur est ensuite évacuée à l’extérieur par des machines comme des refroidisseurs.

Colossus 2 donne une idée de l’échelle. Epoch y a compté 217 refroidisseurs à air et 144 condenseurs à air, de grands ensembles de ventilateurs, lors de son plus récent examen. Le choix d’évaporer de l’eau ou d’utiliser une boucle fermée est une autre décision, avec de vrais compromis, expliqués dans notre article sur l’eau et le refroidissement.

Un exemple chiffré : ce qu’achètent 100 mégawatts

Voici un calcul approximatif pour un site de 100 mégawatts de puissance informatique, avec des baies NVL72 et les estimations d’Epoch pour Colossus 2.

Il s’agit d’un calcul illustratif, pas d’un prix réel. Une vérification aide : citant le document boursier de SpaceX, Epoch rapporte une première grappe à Colossus 2 d’environ 110 000 processeurs GB200 pour environ 210 mégawatts de puissance de calcul. Cela donne à peu près 1,9 kilowatt par processeur, du même ordre que notre chiffre d’environ 1,7 par GPU dans une baie.

La vitesse fait aussi partie de la conception. Selon Epoch, passer du début du chantier à 1 gigawatt de puissance de l’installation prend habituellement d’un à quatre ans dans les sites qu’elle suit. Colossus 2 a atteint sa première grappe environ huit mois après le début du déblaiement du terrain, notamment en adaptant un bâtiment existant et en produisant d’abord sa propre électricité.

Que faut-il vérifier quand on lit une nouvelle sur un centre de données d’IA?

Commencez par l’unité et la date. Un chiffre en manchette peut désigner une capacité prévue dans plusieurs années, et non la puissance utilisée aujourd’hui, et il peut mêler puissance informatique et puissance de l’installation. Epoch prévient que même ses estimations soignées de puissance informatique sont approximatives : elles ratent la vraie valeur de plus d’un facteur de 1,4 environ une fois sur cinq.

Demandez ensuite d’où vient l’électricité, comment la chaleur quitte le bâtiment et qui utilisera les ordinateurs. Ces trois réponses en disent plus que le montant total, car elles déterminent les effets locaux, l’échéancier et s’il y a vraiment quelqu’un qui s’est engagé à payer pour cette capacité. Notre article sur ce que veut dire un gigawatt montre comment comparer les chiffres.