De quel matériel avez-vous besoin pour faire tourner des modèles d’IA à la maison en 2024?

Faire tourner un modèle de langage sur votre propre ordinateur veut dire que vos questions ne quittent jamais la machine, qu’il n’y a pas de frais mensuels et que tout fonctionne sans connexion Internet. Des outils gratuits comme Ollama rendent le côté logiciel facile : une seule commande télécharge un modèle et ouvre une conversation. C’est la question du matériel qui bloque la plupart des gens, et la réponse est plus simple qu’elle en a l’air. Pour l’IA locale, la mémoire compte plus que presque tout le reste.

Quand un modèle vous répond, il doit parcourir l’ensemble de ses paramètres pour chaque mot qu’il écrit. Les paramètres sont les nombres que le modèle a appris pendant son entraînement, et il y en a des milliards. S’ils logent tous dans une mémoire rapide, proche du processeur, les réponses arrivent vite. S’ils ne tiennent pas, l’ordinateur doit faire venir des morceaux d’une mémoire plus lente ou du disque, et le modèle se met à ramper ou refuse de se charger.

La mémoire est le chiffre à vérifier

Il y a deux types d’ordinateurs à considérer.

• Un PC avec une carte graphique. La carte, ou GPU, a sa propre mémoire, appelée VRAM (mémoire vidéo). Un modèle tourne le plus vite quand il tient entièrement dans la VRAM. La GeForce RTX 4090 de NVIDIA, annoncée en 2022, a 24 Go; la RTX 4080 en a 16 Go. La RAM ordinaire de l’ordinateur peut accueillir ce qui ne tient pas, mais cette partie tourne beaucoup plus lentement.
• Un Mac à puce Apple. Les Mac à puce de la série M utilisent une mémoire unifiée, un seul bassin partagé par le processeur principal et le processeur graphique. La majeure partie de la mémoire du Mac peut donc servir de mémoire pour le modèle. La nouvelle gamme MacBook Pro d’Apple, annoncée le 30 octobre, commence à 16 Go et monte jusqu’à 128 Go avec la puce M4 Max.

La vitesse dépend aussi de la bande passante mémoire, c’est-à-dire du nombre de gigaoctets par seconde que la puce peut lire. Apple annonce 120 Go/s pour la M4 de base et plus d’un demi-téraoctet par seconde pour la M4 Max. Une bande passante plus élevée donne plus de mots par seconde avec le même modèle.

Quelle est la taille des modèles?

Les modèles que vous téléchargez pour un usage à la maison sont habituellement quantifiés : leurs paramètres sont stockés avec moins de bits chacun, ce qui réduit beaucoup la taille du fichier pour une faible perte de qualité. Voici des tailles de téléchargement tirées de la bibliothèque de modèles d’Ollama, avec ses propres indications de mémoire :

Le README d’Ollama donne une règle simple : au moins 8 Go de RAM pour les modèles de 7 milliards de paramètres, 16 Go pour les modèles 13B et 32 Go pour les modèles 33B. Une façon pratique de lire le tableau : la taille du téléchargement est la mémoire minimale dont le modèle a besoin. Ajoutez quelques gigaoctets pour la conversation elle-même, que le modèle garde en mémoire à mesure qu’elle s’allonge, et davantage pour votre système d’exploitation et vos autres applications.

Deux exemples concrets

Un MacBook Air de 16 Go. Les modèles récents de MacBook Air à puce M2 et M3 commencent maintenant à 16 Go. Llama 3.1 8B, à 4,7 Go, y tient facilement, avec de la place pour un navigateur et une longue conversation. Gemma 2 9B ou Phi 3 Medium tiennent aussi. Gemma 2 27B, à 16 Go, prendrait toute la mémoire et ne laisserait rien au système : ce n’est donc pas un choix réaliste sur cette machine.

Un PC de jeu avec une RTX 4090 (24 Go de VRAM) et 64 Go de RAM. Tout jusqu’à Gemma 2 27B tient dans la mémoire de la carte et tourne vite. Llama 3.1 70B, à 40 Go, ne tient pas dans 24 Go. Ollama peut quand même le faire tourner en plaçant une partie du modèle dans la RAM du système, mais la partie du côté lent ralentit tout le reste. Attendez-vous à une baisse de vitesse marquée, par exemple d’un flot de texte fluide à quelques mots par seconde, selon la part qui déborde.

Un Mac avec beaucoup de mémoire suffit-il?

Pour bien des gens, oui. Comme la mémoire unifiée sert de mémoire pour le modèle, un Mac de 64 ou 128 Go peut charger des modèles qui exigeraient plusieurs cartes graphiques dans un PC. Apple affirme qu’une M4 Max avec 128 Go permet aux développeurs de travailler avec des modèles de langage de près de 200 milliards de paramètres. Llama 3.1 70B, à 40 Go, tient sur une telle machine avec beaucoup de place de reste.

La contrepartie, c’est la vitesse et la souplesse. Une carte NVIDIA haut de gamme a plus de puissance de calcul brute, et une grande partie des logiciels d’IA à code source ouvert, surtout pour entraîner et ajuster finement des modèles, est d’abord écrite pour la plateforme CUDA de NVIDIA. Un Mac est excellent pour faire tourner des modèles et clavarder avec eux, et moins adapté à l’entraînement de vos propres modèles.

Rappelez-vous aussi que la mémoire des puces Apple est fixée à l’achat de la machine : vous ne pouvez pas en ajouter plus tard. Si l’IA locale est l’une des principales raisons de l’achat, choisissez plus de mémoire plutôt qu’une puce plus rapide avec moins de mémoire. Et pour les plus grands modèles ouverts, comme Llama 3.1 405B à 231 Go, aucun portable ne suffit : ceux-là s’utilisent encore mieux par un service infonuagique.