Qu’est-ce que PaLM 2, le modèle annoncé par Google à I/O, et qu’alimente-t-il?

Hier, le 10 mai 2023, lors de sa conférence annuelle des développeurs, Google I/O, Google a présenté PaLM 2, le successeur de son Pathways Language Model. C’est le moteur derrière une longue liste d’annonces faites sur scène, d’un Bard plus capable à l’aide à la rédaction dans Gmail et Google Docs.

L’essentiel n’est pas seulement un modèle plus gros. Google affirme que ses recherches montrent que « plus gros, c’est mieux » est une règle trop simple, et que la conception et l’entraînement d’un modèle comptent autant que sa taille. PaLM 2 est présenté comme plus capable, mais aussi plus rapide et plus efficace que les modèles qui l’ont précédé.

Ce qui s’est passé, et qui est derrière

L’annonce a été faite à I/O et expliquée dans un billet de Zoubin Ghahramani, vice-président chez Google DeepMind. Le PaLM original, présenté en avril 2022, comptait 540 milliards de paramètres, ces nombres ajustables qu’un modèle apprend pendant l’entraînement. L’annonce ne donne aucun nombre de paramètres pour PaLM 2.

Le même jour, Google a annoncé qu’elle réunit ses deux grands groupes de recherche, Google Brain et DeepMind, en une seule unité appelée Google DeepMind. Elle a aussi indiqué qu’elle entraîne déjà son prochain modèle, conçu dès le départ pour être multimodal, c’est-à-dire capable de travailler avec des images et d’autres types de données en plus du texte.

Ce qu’il y a de nouveau dans PaLM 2

Google souligne trois domaines d’amélioration, chacun lié à ce sur quoi le modèle a été entraîné :

• Les langues. PaLM 2 a été entraîné sur beaucoup plus de texte multilingue, couvrant plus de 100 langues. Selon Google, il comprend les expressions idiomatiques, les poèmes et les devinettes, et réussit des examens avancés de compétence linguistique au niveau « maîtrise ».
• Le raisonnement. Ses données d’entraînement comprennent des articles scientifiques et des pages Web remplies d’expressions mathématiques, ce qui améliore la logique, le raisonnement de sens commun et les mathématiques.
• Le code. Il a été entraîné sur une grande quantité de code source accessible publiquement. Il est fort dans des langages populaires comme Python et JavaScript, et peut aussi écrire dans des langages spécialisés comme Prolog, Fortran et Verilog.

Le changement le plus pratique, c’est que PaLM 2 existe en quatre tailles, nommées d’après des animaux :

Google a donné peu de détails sur Otter, Bison et Unicorn au-delà de leur rang. L’intérêt de cette gamme est la souplesse : un petit modèle coûte moins cher et répond plus vite, alors qu’un grand s’attaque à des tâches plus difficiles. Choisir une taille, c’est comme choisir un véhicule : un scooter pour les petits trajets en ville, un camion pour les lourdes charges.

Ce qu’il alimente

Google affirme que plus de 25 nouveaux produits et fonctions annoncés à I/O fonctionnent avec PaLM 2. Quelques exemples :

1. Bard s’appuie sur les compétences linguistiques de PaLM 2 pour s’étendre à de nouvelles langues, et PaLM 2 alimente l’aide à la programmation ajoutée récemment à Bard. Google a aussi supprimé la liste d’attente et ouvert Bard à plus de 180 pays et territoires en anglais, le japonais et le coréen étant en cours de déploiement, avec l’intention d’atteindre les 40 principales langues.
2. Google Workspace : l’aide à la rédaction dans Gmail et Docs, et l’aide à l’organisation dans Sheets.
3. Med-PaLM 2, une version entraînée par les équipes santé de Google, qui a atteint selon Google un niveau « expert » sur des questions du type de l’examen d’accréditation médicale des États-Unis. Un petit groupe de clients infonuagiques la testera cet été.
4. Sec-PaLM, une version entraînée pour la cybersécurité, qui aide à analyser et à expliquer des scripts potentiellement malveillants.
5. Les développeurs et les entreprises peuvent s’inscrire à l’API PaLM ou utiliser le modèle par Vertex AI, la plateforme de Google Cloud pour créer des applications d’IA, et il alimente Duet AI pour Google Cloud.

Pourquoi c’est important

PaLM 2 arrive deux mois après GPT-4 d’OpenAI, et c’est la réponse la plus claire de Google jusqu’ici. Ce qui ressort, c’est la stratégie : au lieu d’un seul modèle derrière un seul robot conversationnel, PaLM 2 est une famille de tailles que Google répand dans ses produits, des téléphones au courriel en passant par le nuage.

La taille Gecko est particulièrement intéressante pour les développeurs. Un modèle qui fonctionne sur un téléphone sans connexion Internet pourrait rendre les fonctions d’IA plus rapides, moins coûteuses et plus respectueuses de la vie privée, parce que vos mots n’auraient pas à quitter votre appareil. Google n’a pas encore dit quand, ni dans quels produits, Gecko apparaîtra.

Comment essayer PaLM 2 dès aujourd’hui?

Le plus simple, c’est Bard. Depuis hier, il n’y a plus de liste d’attente : toute personne dans plus de 180 pays et territoires peut aller sur bard.google.com et commencer à l’utiliser en anglais, le japonais et le coréen arrivant maintenant. Google précise que Bard est encore une expérience; vérifiez donc les faits importants par une recherche.

Si vous utilisez Google Workspace, surveillez l’arrivée des nouvelles fonctions de rédaction dans Gmail et Docs à mesure qu’elles atteignent les comptes. Google n’a pas donné de date unique pour tout le monde.

Les développeurs peuvent s’inscrire à l’API PaLM pour bâtir directement avec PaLM 2, et les entreprises clientes de Google Cloud peuvent l’utiliser par Vertex AI, avec des contrôles de confidentialité et de sécurité de niveau entreprise. Une bonne première expérience consiste à confier la même tâche, par exemple résumer un document en deux langues, à PaLM 2 et à un autre modèle que vous utilisez, puis à comparer l’exactitude, la vitesse et le coût.