Qu’est-ce que Gemini 1.5 Pro, et que peut faire une fenêtre de contexte d’un million de jetons?

Hier, le 15 février 2024, Google a annoncé Gemini 1.5, la nouvelle génération des modèles Gemini qu’elle a présentés en décembre. Le premier modèle de cette génération est Gemini 1.5 Pro. Il arrive une semaine après que Google a lancé son plus gros modèle, 1.0 Ultra, dans le robot conversationnel payant Gemini Advanced, et environ deux mois après l’apparition des premiers modèles Gemini.

Deux affirmations ressortent. Google dit que le nouveau modèle Pro, de taille moyenne, atteint à peu près la qualité de 1.0 Ultra tout en demandant moins de puissance de calcul. Et il peut lire beaucoup plus de contenu d’un coup que n’importe quel grand modèle lancé jusqu’ici : jusqu’à un million de jetons dans un seul prompt.

Ce que Google a annoncé, et qui peut l’utiliser

L’annonce a pris la forme d’un billet de blogue présenté par Sundar Pichai, PDG de Google et d’Alphabet, avec les détails fournis par Demis Hassabis, qui dirige Google DeepMind. Un billet complémentaire sur le blogue des développeurs de Google expliquait comment l’essayer.

Les utilisateurs ordinaires du robot conversationnel Gemini n’ont pas encore accès à 1.5 Pro. Google dit que la version à 128 000 jetons arrivera quand le modèle sera prêt pour une diffusion plus large, suivie de niveaux de prix allant jusqu’à un million de jetons.

Qu’est-ce qu’une fenêtre de contexte?

La fenêtre de contexte d’un modèle, c’est la quantité de contenu qu’il peut considérer d’un coup : vos consignes, les documents que vous joignez et la conversation jusqu’ici. Elle se mesure en jetons, de petits morceaux de l’entrée. Pour du texte, un jeton est souvent une partie de mot; Gemini transforme aussi les images, l’audio et la vidéo en jetons.

Pensez à la taille d’un bureau. Un petit bureau contient quelques pages; vous devez résumer ou faire entrer et sortir des papiers. Un très grand bureau vous permet d’étaler des archives entières et de les parcourir d’un seul regard. Jusqu’à cette semaine, note le blogue des développeurs de Google, la plus grande fenêtre offerte par un grand modèle de langage ouvert au public contenait 200 000 jetons. Les premiers modèles Gemini 1.0 en avaient 32 000.

Voici ce que Google dit qu’un million de jetons peut contenir :

Ce que Google lui a fait faire

Les démonstrations de Google donnent une idée des possibilités :

• Un long document. À partir des 402 pages de transcriptions de la mission Apollo 11 vers la Lune, le modèle a répondu à des questions sur des conversations et des événements dispersés dans l’ensemble du texte. TechRadar décrit la démonstration où il a trouvé des moments humoristiques entre les astronautes en une trentaine de secondes.
• Un film entier. Devant un film muet de Buster Keaton d’une durée de 44 minutes, il a décrit des éléments de l’intrigue et de petits détails. Dans un test, un dessin grossier d’un château d’eau lui a suffi pour trouver la scène correspondante, une dizaine de minutes après le début.
• Une grosse base de code. Devant une base de code de plus de 100 000 lignes, il a suggéré des modifications et expliqué comment les différentes parties s’imbriquent.
• Une nouvelle langue. Avec seulement un manuel de grammaire du kalamang, une langue parlée par moins de 200 personnes, il a appris à traduire de l’anglais vers le kalamang à peu près aussi bien qu’une personne qui étudie le même matériel. C’est ce qu’on appelle l’apprentissage en contexte (in-context learning) : le modèle acquiert une compétence à partir de ce qui se trouve dans le prompt, sans être réentraîné.

Un test courant pour les longs contextes est celui de l’aiguille dans une botte de foin : on cache une phrase précise quelque part dans un énorme bloc de texte et on demande au modèle de la retrouver. Google rapporte que 1.5 Pro l’a trouvée 99 % du temps, même dans des blocs d’un million de jetons. Sur l’ensemble plus large de bancs d’essai de Google, 1.5 Pro a battu 1.0 Pro dans 87 % des cas et a obtenu des résultats globalement semblables à ceux de 1.0 Ultra.

Comment ça fonctionne

Gemini 1.5 repose sur une architecture de mélange d’experts (mixture-of-experts). Au lieu de faire tourner un seul réseau géant pour chaque requête, le modèle est divisé en réseaux spécialisés plus petits, et il apprend à envoyer chaque entrée seulement aux plus pertinents. Une plus petite partie du modèle travaille sur chaque requête, ce qui le rend moins coûteux à entraîner et à faire tourner. Google publie des recherches sur cette technique depuis des années, et le modèle ouvert Mixtral utilise une idée semblable.

Google dit que le modèle est passé par ses tests habituels de sécurité et d’éthique, et qu’elle conçoit de nouveaux tests pour les risques propres aux très longues entrées.

Pourquoi c’est important

Une immense fenêtre de contexte change votre façon de travailler avec l’IA. Au lieu de découper un rapport en morceaux ou de bâtir un système de recherche pour fournir au modèle quelques paragraphes à la fois, vous pouvez, en principe, lui remettre le tout et poser des questions sur l’ensemble. Pour la vidéo et l’audio, cela ouvre des tâches comme retrouver un moment précis dans une heure d’images.

Il y a des réserves. La version à un million de jetons est une expérience, limitée à des testeurs choisis, et Google prévient que les réponses seront lentes. Ses résultats aux bancs d’essai viennent de Google elle-même et devront être vérifiés par des tests indépendants.

Comment commencer à tester Gemini 1.5 Pro?

Si vous êtes développeur, inscrivez-vous à l’aperçu privé par Google AI Studio, l’outil Web gratuit de Google pour expérimenter avec les modèles Gemini. Une fois accepté, vous pouvez téléverser plusieurs PDF, un dépôt de code ou une longue vidéo directement dans votre prompt. AI Studio découpe une vidéo en milliers d’images fixes, sans le son, que le modèle analyse. Les entreprises qui utilisent Google Cloud peuvent demander l’accès à leur équipe de compte Vertex AI.

Quand vous testez, commencez par des tâches qui exigent l’ensemble de l’entrée : des questions qui relient le début et la fin d’un document, ou des moments que vous pouvez vérifier dans une vidéo. Attendez-vous à des délais plus longs que d’habitude et vérifiez les réponses à partir de la source.

Si vous n’êtes pas développeur, le robot conversationnel gratuit Gemini et Gemini Advanced fonctionnent toujours avec les modèles 1.0. Google n’a pas dit quand 1.5 Pro y arrivera.