# Qu’est-ce que Gemma, la famille de modèles ouverts de Google, et à qui s’adresse-t-elle?

Date: 2024-02-22 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-gemma-google/

**Answer:** Gemma est une famille de modèles ouverts légers que Google a lancée le 21 février 2024, bâtie à partir des mêmes recherches et de la même technologie que ses modèles Gemini. Elle existe en deux tailles, Gemma 2B et Gemma 7B, assez petites pour tourner sur un portable ou un ordinateur de bureau, et tout le monde peut en télécharger les poids, les adapter et les utiliser commercialement selon les conditions d’utilisation de Google.

Hier, le 21 février 2024, Google a lancé **Gemma**, une famille de modèles de langage que tout le monde peut télécharger et faire tourner. Google les qualifie de légers et dit qu’ils sont issus des recherches et de la technologie derrière Gemini, les grands modèles qui alimentent son robot conversationnel. Le nom vient du mot latin *gemma*, qui veut dire « pierre précieuse ».

C’est un lancement d’un autre genre que Gemini. Avec Gemini, vous utilisez le modèle par les services de Google. Avec Gemma, vous recevez le modèle lui-même et vous pouvez le faire tourner sur votre propre machine, le modifier et bâtir des produits dessus.

## Ce que Google a lancé

Gemma existe en deux tailles. Les nombres dans les noms renvoient aux paramètres, les valeurs ajustables qu’un modèle apprend pendant l’entraînement : **Gemma 2B** en compte environ 2 milliards et **Gemma 7B** environ 7 milliards. À titre de comparaison, les grands modèles qui alimentent les robots conversationnels populaires sont généralement beaucoup plus gros, et c’est pourquoi ils tournent dans des centres de données.

Chaque taille existe en deux versions :

| Version | Ce que c’est | Utile pour |
|---|---|---|
| Préentraînée (de base) | Le modèle après son entraînement principal sur de grandes quantités de texte | Les chercheurs, et les développeurs qui veulent poursuivre son entraînement pour une tâche précise |
| Ajustée aux instructions | Entraînée davantage pour suivre des demandes et tenir une conversation | Le clavardage, les réponses aux questions, les prototypes rapides |

En plus des modèles, Google a lancé un **Responsible Generative AI Toolkit** (une trousse pour une IA générative responsable : des conseils, une méthode pour bâtir des filtres de sécurité à partir d’un petit nombre d’exemples et un outil de débogage), des carnets prêts à l’emploi sur Colab et Kaggle, et la prise en charge des principaux cadriciels de programmation : JAX, PyTorch et TensorFlow par Keras 3.0. Gemma fonctionne aussi avec Hugging Face, la plateforme populaire de partage de modèles, et avec les outils de NVIDIA.

Google dit que Gemma 2B et 7B offrent les meilleures performances pour leur taille par rapport aux autres modèles ouverts, et qu’ils battent des modèles nettement plus gros sur des bancs d’essai clés. TechCrunch note que Google n’a pas fourni de comparaison détaillée avec des modèles semblables de Meta et de Mistral avant le lancement, et que des résultats suivraient sur le classement public de Hugging Face. Des tests indépendants montreront comment ils se comparent en pratique.

## « Modèle ouvert » n’est pas tout à fait « code source ouvert »

Le terme compte ici. Le **code source ouvert** (*open source*) signifie traditionnellement que tout le monde peut utiliser, modifier et redistribuer un logiciel, avec très peu de conditions. Un modèle à **poids ouverts**, ou « modèle ouvert », rend téléchargeables les **poids** entraînés, les nombres qui composent le modèle, mais selon ses propres conditions d’utilisation.

Gemma est un modèle ouvert. Les conditions de Google permettent une utilisation commerciale et une distribution responsables pour les organisations de toutes tailles. Lors d’une séance d’information rapportée par TechCrunch, Jeanine Banks, de Google, a expliqué que l’entreprise avait choisi délibérément l’expression « modèles ouverts », parce que les conditions touchant notamment la redistribution et la propriété des versions modifiées diffèrent de celles des licences traditionnelles de code source ouvert.

En pratique, cela veut dire que vous pouvez faire tourner Gemma, lui faire subir un ajustement fin, c’est-à-dire poursuivre son entraînement sur vos propres exemples, et l’intégrer à un produit, tant que vous respectez les conditions de Google.

## Comment un petit modèle peut tourner sur votre portable

Les grands robots conversationnels ont besoin de bâtis entiers de puces spécialisées. Un modèle de 2 ou 7 milliards de paramètres est assez petit pour un seul ordinateur. Google dit que Gemma tourne sur des portables, des ordinateurs de bureau, des stations de travail et Google Cloud, et qu’il a été optimisé pour les cartes graphiques de NVIDIA ainsi que pour les puces TPU de Google.

TechCrunch rapporte que Gemma utilise une architecture **dense à décodeur seulement** (*dense decoder-only*), la même architecture de base que Gemini. « À décodeur seulement » signifie que le modèle prédit le texte un jeton à la fois, chaque nouveau morceau reposant sur tout ce qui précède, comme une saisie semi-automatique extrêmement cultivée. « Dense » signifie que le réseau entier travaille sur chaque jeton. Tris Warkentin, de Google DeepMind, a dit à TechCrunch que des tâches qui exigeaient autrefois de très grands modèles sont maintenant possibles avec de plus petits.

Google décrit aussi son travail de sécurité : les renseignements personnels et d’autres données sensibles ont été filtrés des ensembles d’entraînement à l’aide d’outils automatisés, et les modèles ajustés aux instructions ont été entraînés par **apprentissage par renforcement à partir de la rétroaction humaine**, où les notes que des personnes donnent aux réponses enseignent au modèle quelles réponses sont préférées. Google fait état, dans sa fiche technique du modèle, de tests manuels par des équipes rouges et de tests d’attaque automatisés.

## Pourquoi c’est important

Gemma place Google aux côtés de Meta et de Mistral parmi les grandes entreprises qui offrent des modèles performants que les développeurs peuvent télécharger. Pour les personnes qui bâtissent des outils, les petits modèles ouverts apportent des avantages qu’un robot conversationnel infonuagique ne peut pas offrir : les données ne quittent jamais votre ordinateur, il n’y a pas de frais par requête, et vous pouvez adapter le modèle à une seule tâche précise.

Pour les personnes qui apprennent, Gemma est une occasion de voir comment fonctionne un modèle de langage de l’intérieur, sur du matériel que vous possédez peut-être déjà.

> **À essayer :** écrivez trois courtes tâches que vous voudriez confier à un petit modèle privé, comme résumer vos propres notes, classer des courriels par catégorie ou rédiger des réponses dans votre style. Gardez la liste : c’est votre ensemble de test pour comparer tout modèle ouvert que vous installerez.

## Comment essayer Gemma sur votre propre ordinateur ou dans le nuage?

Le départ le plus facile ne demande aucune installation. Google offre un accès gratuit à Gemma sur Kaggle, une plateforme de science des données, et dans des carnets Colab, qui tournent dans votre navigateur Web sur les machines de Google. Ouvrez un carnet prêt à l’emploi, exécutez les cellules dans l’ordre et tapez un prompt pour le modèle ajusté aux instructions.

Si vous êtes à l’aise avec Python, vous pouvez obtenir Gemma par Kaggle ou Hugging Face et le faire tourner avec PyTorch, JAX ou Keras. Commencez par Gemma 2B, qui demande le moins de mémoire, et passez à 7B si votre ordinateur peut le supporter. Les entreprises peuvent déployer Gemma sur Google Cloud par Vertex AI ou Google Kubernetes Engine. Les nouveaux utilisateurs de Google Cloud reçoivent 300 $ US en crédits, et les chercheurs peuvent demander des crédits supplémentaires.

Quelle que soit la voie choisie, lisez d’abord les conditions d’utilisation de Google et la fiche technique du modèle, et testez le modèle sur vos propres exemples avant de vous y fier.

## Sources

- Gemma: Introducing new state-of-the-art open models: https://blog.google/technology/developers/gemma-open-models/
- Google launches two new open LLMs: https://techcrunch.com/2024/02/21/google-launches-two-new-open-llms/