# Comment faire tourner Llama 2 localement avec Ollama?

Date: 2023-08-03 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/faire-tourner-llama-2-avec-ollama/

**Answer:** Sur un Mac à puce Apple Silicon, téléchargez Ollama, ouvrez le Terminal et tapez « ollama run llama2 » : Ollama récupère le modèle de 3,8 Go et ouvre une conversation, le tout sur votre propre ordinateur. Prévoyez 16 Go de mémoire pour le modèle 7B et 32 Go pour le 13B.

Environ deux semaines après la publication de Llama 2 par Meta, la façon la plus rapide de l’essayer sur votre propre machine est Ollama, un outil gratuit qui télécharge des modèles ouverts et les fait tourner avec une seule commande. La licence de Llama 2 permet à la fois la recherche et l’usage commercial, et le faire tourner localement signifie que vos prompts ne quittent jamais votre ordinateur. C’est important pour des brouillons, des notes ou des documents de clients que vous préférez ne pas coller dans un service en ligne.

Ollama n’est encore qu’un aperçu préliminaire. Sa page de téléchargement propose pour l’instant une version pour les Mac à puce Apple Silicon (les puces M1 et M2); les Mac Intel, Windows et Linux sont annoncés pour bientôt. Les développeurs qui utilisent d’autres systèmes peuvent le compiler à partir de son code source.

## Quel Llama 2 vous obtenez

Meta a entraîné Llama 2 en trois tailles : 7, 13 et 70 milliards de paramètres, les nombres ajustables qu’un modèle apprend pendant son entraînement. Chaque taille existe aussi en version Llama 2-Chat, ajustée pour la conversation grâce à la rétroaction humaine. Les modèles lisent jusqu’à environ 4 000 jetons (des morceaux de mots) à la fois, deux fois plus que le premier LLaMA.

La bibliothèque d’Ollama offre Llama 2 sous une forme compressée, si bien que les fichiers prennent beaucoup moins de place que les originaux de Meta :

| Nom dans Ollama | Paramètres | Taille du téléchargement | Commande |
|---|---|---|---|
| llama2 | 7B | 3,8 Go | `ollama pull llama2` |
| `llama2:13b` | 13B | 7,3 Go | `ollama pull llama2:13b` |

Le modèle 70B n’est pas encore dans la bibliothèque. Celle-ci propose aussi d’autres modèles ouverts, mais `llama2` est celui par lequel commencer.

## Les étapes

1. **Installez Ollama.** Téléchargez l’application Mac sur ollama.ai/download, installez-la et ouvrez-la une première fois.
2. **Ouvrez le Terminal.** C’est là que vous taperez toutes les commandes.
3. **Téléchargez le modèle.** Tapez `ollama pull llama2` et attendez le fichier de 3,8 Go. Le guide de démarrage rapide du projet passe directement à l’étape 4; télécharger d’abord sert simplement à séparer le téléchargement de la conversation.
4. **Commencez à converser.** Tapez `ollama run llama2`. Une invite `>>>` apparaît. Tapez un message et appuyez sur Retour.
5. **Voyez ce que vous avez.** `ollama list` affiche les modèles présents sur votre ordinateur. Relancer `ollama pull llama2` plus tard met le modèle à jour si une version plus récente existe.

Une première séance pourrait ressembler à ceci (la réponse est donnée à titre d’illustration) :

```
ollama run llama2
>>> In two sentences, what is a local language model?
A local language model runs entirely on your own computer instead of a remote server.
Your prompts and its answers stay on your machine.
```

C’est votre Mac qui fait tout le travail; les réponses apparaissent donc plus lentement que dans ChatGPT, et la première réponse prend un moment pendant que le modèle se charge en mémoire.

## Créer votre propre version

Ollama vous permet d’envelopper un modèle de paramètres et d’une consigne permanente dans un petit fichier texte appelé Modelfile. Enregistrez ceci sous le nom `Modelfile` :

```
FROM llama2

# température plus basse = réponses plus stables, moins inventives
PARAMETER temperature 0.5

SYSTEM """
Tu es un tuteur d'écriture patient pour des apprenants adultes. Explique une idée à la fois, emploie des mots simples, et termine chaque réponse par une courte question qui vérifie la compréhension.
"""
```

Puis créez-le et lancez-le :

```
ollama create tutor -f ./Modelfile
ollama run tutor
```

Le bloc `SYSTEM` fonctionne comme un message système : le modèle le lit avant chaque conversation. Des programmes peuvent utiliser les mêmes modèles par une adresse Web locale, `http://localhost:11434/api/generate`, et c’est ainsi que les premiers modules d’extension pour éditeurs de code et applications de clavardage se connectent à Ollama.

> **À essayer :** posez à `llama2` et à votre modèle `tutor` la même question, comme « À quoi sert le point-virgule? », et comparez le ton et la longueur. Changez ensuite la température à 1 dans le Modelfile, relancez `ollama create` et voyez comment les réponses changent.

## De combien de mémoire avez-vous besoin?

La documentation d’Ollama donne une règle simple : au moins 8 Go de mémoire vive pour les modèles 3B, 16 Go pour les modèles 7B et 32 Go pour les modèles 13B. La mémoire vive est la mémoire de travail de l’ordinateur, pas son espace de stockage. Le modèle entier y est chargé pendant que vous conversez, et vos autres applications ont aussi besoin de place; c’est pourquoi la recommandation dépasse largement la taille des téléchargements.

| Modèle | Téléchargement | Mémoire vive à prévoir |
|---|---|---|
| llama2 (7B) | 3,8 Go | 16 Go |
| `llama2:13b` (13B) | 7,3 Go | 32 Go |

Pour vérifier votre Mac, ouvrez le menu Pomme et choisissez À propos de ce Mac; la quantité de mémoire y est indiquée. Avec 8 Go, la recommandation oriente plutôt vers un modèle 3B, comme Orca Mini (`ollama pull orca`, 1,9 Go). Avec 16 Go, le Llama 2 7B est le choix naturel. Le modèle 13B est l’option la plus grosse et la plus exigeante; gardez-le pour un Mac de 32 Go.

L’espace disque compte moins, mais il s’accumule. Chaque modèle que vous téléchargez reste sur votre disque jusqu’à ce que vous le supprimiez; surveillez donc le total si vous en essayez plusieurs.

## Sources

- Ollama README (commit e4a970e, August 1, 2023): https://github.com/ollama/ollama/blob/e4a970ece120ed03ea41a0bad5df91dde3c5a089/README.md
- Meta and Microsoft Introduce the Next Generation of Llama: https://about.fb.com/news/2023/07/llama-2/
- Llama 2: Open Foundation and Fine-Tuned Chat Models: https://arxiv.org/abs/2307.09288v1