Qu’est-ce que BloombergGPT, et qu’est-ce que change un modèle de domaine?

La plupart des modèles de langage que les gens utilisent sont des modèles généraux : entraînés sur un vaste éventail de pages Web, de livres et de code pour pouvoir aborder presque n’importe quel sujet. Un modèle de domaine est conçu pour un seul champ, comme la finance, la médecine ou le droit, en l’entraînant abondamment sur les documents propres à ce champ. À la fin de mars, Bloomberg, l’entreprise de données et de nouvelles financières, a publié le compte rendu le plus détaillé à ce jour de la création d’un tel modèle : BloombergGPT.

L’argument de Bloomberg est simple. La finance a son propre vocabulaire et ses propres tâches, qu’il s’agisse de juger si une manchette est une bonne ou une mauvaise nouvelle pour une entreprise ou d’extraire des chiffres de documents réglementaires. L’entreprise affirme que les modèles généraux font bien beaucoup de choses, mais que son expérience avec des modèles spécialisés antérieurs l’a convaincue qu’ils ne pouvaient pas les remplacer complètement.

Comment Bloomberg l’a-t-elle créé?

L’ingrédient clé, ce sont les données. Les analystes de Bloomberg recueillent et organisent des documents financiers depuis une quarantaine d’années. À partir de ces archives, l’équipe a constitué un jeu de données qu’elle appelle FinPile : 363 milliards de jetons (les morceaux de mots qu’un modèle lit) de textes financiers en anglais, dont des pages Web sur la finance, des nouvelles, des documents déposés par des entreprises, des communiqués de presse et le contenu propre de Bloomberg. Elle y a ajouté 345 milliards de jetons de textes publics généraux, du genre sur lequel les autres modèles s’entraînent.

L’équipe a ensuite entraîné un modèle de 50 milliards de paramètres, les nombres internes qu’un modèle ajuste pendant son apprentissage. L’entraînement a utilisé 569 milliards de jetons tirés de l’ensemble combiné et a tourné sur 512 processeurs graphiques haut de gamme pendant environ 53 jours. C’est un investissement sérieux, bien au-delà de ce qu’une entreprise type consacre à l’IA.

La nouveauté, c’était le mélange. Selon l’article, les modèles de domaine antérieurs étaient soit entraînés uniquement sur des textes spécialisés, soit obtenus en adaptant après coup un très grand modèle général. Bloomberg a entraîné le sien sur les deux types de textes dès le départ, dans l’espoir d’obtenir des compétences en finance sans perdre les compétences générales.

Que fait-il mieux?

Sur des bancs d’essai publics en finance, comme juger le sentiment de nouvelles financières ou répondre à des questions portant sur des chiffres tirés de rapports, BloombergGPT a surpassé par de larges marges des modèles ouverts de taille semblable, dont GPT-NeoX et OPT. Aux tests de langage généraux, il a tenu son bout ou fait mieux. Bloomberg l’a aussi testé sur des tâches internes plus proches de ses usages réels.

Les exemples de l’article montrent le côté pratique. BloombergGPT peut transformer une demande en anglais courant en Bloomberg Query Language (BQL), le code complexe qui sert à extraire des données sur le Bloomberg Terminal. Il peut proposer de courtes manchettes à partir d’un paragraphe, un travail que les journalistes font tous les jours. Et il répond aux questions de finance, par exemple qui dirige une entreprise donnée, de façon plus fiable que les autres modèles présentés à ses côtés.

Il y a un hic pour le reste d’entre nous : Bloomberg n’a pas rendu le modèle public. L’article explique qu’un modèle peut laisser fuir des morceaux de ses données d’entraînement, et que ces données sont au cœur des affaires de Bloomberg. BloombergGPT est donc un outil pour Bloomberg et ses clients, pas quelque chose que vous pouvez télécharger ou essayer dans une fenêtre de clavardage.

Trois façons d’obtenir un « spécialiste »

BloombergGPT représente l’une des trois voies qu’une entreprise peut prendre. Voici comment elles se comparent :

Chaque secteur aura-t-il son propre modèle?

Certains, oui, mais probablement pas tous, et pas chaque entreprise. BloombergGPT montre les conditions qui rendent un modèle sur mesure rentable : une énorme collection de textes de grande qualité que personne d’autre ne possède, de nombreux usages internes pour elle et le budget pour un entraînement de plusieurs semaines. Peu d’organisations réunissent les trois. Celles qui les réunissent, dans des domaines comme la finance, le droit ou la médecine, ont une bonne raison d’essayer.

Pour tous les autres, les voies moins coûteuses s’améliorent. OpenAI affirme que les premiers tests montrent qu’un GPT-3.5 Turbo ajusté peut égaler ou battre le GPT-4 de base pour certaines tâches étroites, et que les données utilisées pour l’ajustement fin restent la propriété du client. Les modèles ouverts comme Llama 2 peuvent aussi être adaptés par toute personne qui a les compétences voulues, comme Meta l’a fait elle-même en créant Code Llama pour la programmation.

Le portrait le plus probable est fait de couches plutôt que d’un modèle par secteur : quelques grands modèles généraux, un petit nombre de véritables modèles de domaine là où des données uniques les justifient, et une foule de versions ajustées ou guidées par des prompts soignés par-dessus. La leçon que BloombergGPT offre à une petite équipe porte moins sur la création d’un modèle que sur les données. Comme l’a dit l’équipe de Bloomberg elle-même, la qualité d’un modèle dépend de ce sur quoi on l’entraîne. Bien connaître vos propres documents, et les garder propres, rapporte quelle que soit la voie choisie.