Comment choisir entre un modèle à poids ouverts et un modèle hébergé?

Cette année a donné aux équipes ordinaires un vrai choix. D’un côté, il y a les assistants hébergés : ChatGPT, Claude et des services semblables qui fonctionnent sur les serveurs du fournisseur et auxquels vous accédez par un site Web, une application ou une API. De l’autre, il y a les modèles à poids ouverts, comme Llama 2 de Meta et Mistral 7B de Mistral AI, que vous pouvez télécharger et faire tourner vous-même.

Les poids d’un modèle sont les milliards de nombres qu’il a appris pendant son entraînement. Ce sont eux, le modèle. « À poids ouverts » signifie que ces nombres sont publiés pour que tout le monde puisse les copier, même si la licence fixe toujours des règles. « Hébergé » signifie que l’entreprise garde les poids et vous loue un accès au message ou au mois. Aucun des deux n’est meilleur de façon générale. Chacun convient à un travail différent.

Les quatre questions à poser

1. Où vos données ont-elles le droit d’aller? Avec un modèle hébergé, votre texte voyage jusqu’aux serveurs de quelqu’un d’autre. Cela peut être acceptable : OpenAI affirme que ChatGPT Enterprise, lancé en août, ne s’entraîne pas sur les conversations des entreprises et chiffre les données stockées comme en transit. Mais certaines données, comme des notes sur des patients ou des résultats financiers non publiés, n’ont peut-être pas du tout le droit de quitter vos locaux. Un modèle à poids ouverts qui tourne sur votre propre ordinateur ou dans votre propre compte infonuagique garde tout à l’intérieur de murs que vous contrôlez.

2. Quelle qualité les réponses doivent-elles avoir? Les plus grands modèles hébergés, comme GPT-4, rédigent, raisonnent et suivent des consignes complexes généralement mieux que les petits modèles que la plupart des gens peuvent faire tourner à la maison. Les petits modèles ouverts progressent vite. Mistral AI rapporte que son modèle de 7,3 milliards de paramètres bat le plus gros Llama 2 13B sur tous les bancs d’essai qu’elle a testés. Un paramètre est l’un de ces nombres appris; un modèle « 7B » en a donc environ sept milliards. Pourtant, un petit modèle a toujours moins de connaissances générales, et vous devriez le tester sur votre propre tâche avant de vous y fier.

3. Combien d’effort pouvez-vous y consacrer? Un robot conversationnel hébergé fonctionne dès que vous vous connectez. Un modèle ouvert vous demande de choisir une version, de trouver du matériel avec assez de mémoire, d’installer des logiciels, puis de garder le tout en marche et à jour. Des outils comme llama.cpp et Ollama ont rendu cela beaucoup plus facile, mais quelqu’un dans l’équipe doit s’en charger.

4. Combien cela coûtera-t-il à votre volume? Un service hébergé facture par utilisateur ou par mot traité; la facture grossit donc avec l’usage. Un modèle ouvert se télécharge gratuitement, mais vous payez la machine et le temps pour le faire tourner. Pour un usage occasionnel, l’hébergé est presque toujours moins cher. Pour une seule tâche répétitive effectuée des milliers de fois par jour, posséder l’installation peut l’emporter.

Un tableau de décision concret

Voici trois cas inventés, mais typiques, évalués selon ces questions.

Lisez le tableau de gauche à droite. Un seul « élevée » dans la première colonne peut régler la question à lui seul. Sinon, la qualité vient habituellement ensuite, puis l’effort, et le coût en dernier.

Lisez la licence avant de construire

« Ouvert » ne veut pas toujours dire « sans conditions ». Mistral 7B est publié sous Apache 2.0, une licence permissive qui vous permet de l’utiliser, de le modifier et de le vendre avec peu de conditions. Llama 2 est accompagné de la licence propre à Meta. Elle permet l’usage commercial, mais quiconque le redistribue doit transmettre l’entente, tout usage doit respecter la politique d’utilisation acceptable de Meta, les résultats de Llama 2 ne peuvent pas servir à améliorer d’autres grands modèles de langage, et les entreprises dont les produits comptaient plus de 700 millions d’utilisateurs par mois ont besoin d’une licence distincte. Pour une petite entreprise, ces conditions posent rarement problème, mais un avocat ou un conseiller devrait les lire avant que vous lanciez un produit.

À quoi renoncez-vous dans chaque cas?

Avec un modèle hébergé, vous renoncez au contrôle. Le fournisseur peut changer le modèle, son prix ou ses règles, et une réponse qui fonctionnait le mois dernier peut sortir différemment aujourd’hui. Vos données quittent vos locaux; vous vous fiez donc aux promesses du fournisseur et à votre propre contrat. Vous ne pouvez pas non plus examiner ni réentraîner le modèle au-delà des options que le fournisseur offre.

Avec un modèle à poids ouverts, vous renoncez à la commodité et, souvent, à une part de qualité. Vous devenez l’exploitant : vous choisissez le matériel, appliquez les mises à jour et gérez vous-même la sécurité. Ce dernier point compte. Mistral AI précise que sa première version conversationnelle, Mistral 7B Instruct, n’a aucun mécanisme de modération; filtrer les demandes nuisibles vous revient donc. La licence est aussi fournie « telle quelle » : si le modèle se trompe, il n’y a pas de fournisseur à appeler.

Beaucoup d’équipes finissent par utiliser les deux. Elles se servent d’un assistant hébergé pour la rédaction et la recherche de tous les jours, et gardent un petit modèle ouvert pour la tâche sensible ou à grand volume où le contrôle compte plus que le fini. Commencer par les quatre questions fait de ce partage une décision réfléchie plutôt qu’un accident.