Où essayer de très grands modèles ouverts sans avoir vos propres serveurs?

Llama 3.1 405B, de Meta, est le plus grand modèle offert ouvertement, et c’est justement pour cela que la plupart des gens ne peuvent pas le faire tourner. Hugging Face estime que ses poids à eux seuls exigent environ 810 Go de mémoire en pleine précision de 16 bits, autour de 405 Go en 8 bits et environ 203 Go en 4 bits, sans compter la mémoire supplémentaire qu’il faut pour garder une longue conversation. Un seul serveur équipé de huit cartes graphiques H100 haut de gamme en a environ 640 Go. C’est bien au-delà d’un ordinateur portable, et coûteux même pour une petite entreprise.

La bonne nouvelle, c’est qu’« ouvert » signifie que d’autres entreprises sont libres d’héberger le modèle et de vous laisser l’utiliser. Dans les neuf jours qui ont suivi la sortie, plusieurs l’ont fait, ce qui transforme un modèle de 405 milliards de paramètres en quelque chose que vous pouvez essayer dans un onglet de navigateur.

Trois endroits pour l’essayer dès aujourd’hui

Quelques détails valent la peine d’être connus. HuggingChat repose lui-même sur des logiciels à code source ouvert, chat-ui et text-generation-inference. Groq affirme que son API 405B est en accès anticipé pour certains clients seulement, tandis que son application de clavardage et sa console pour développeurs sont plus largement ouvertes. Hugging Face offre aussi des points de terminaison d’API pour les modèles Llama 3.1 à ses abonnés payants PRO. Les versions hébergées sont souvent quantifiées, c’est-à-dire que leurs nombres sont stockés avec moins de bits pour économiser de la mémoire; Meta publie une version officielle en 8 bits de 405B à cette fin, et la qualité est proche de l’original.

Un exemple de test avec le même prompt

Tester un même prompt à plusieurs endroits vous en apprend plus que n’importe quel classement. Choisissez une tâche qui ressemble à votre vrai travail et dont vous pouvez juger la réponse. En voici une qui mêle raisonnement, rédaction et changement de langue :

Un jardin communautaire compte 24 parcelles. 9 sont louées pour toute la saison à 40 $,
les autres pour une demi-saison à 25 $. Deux parcelles sont prêtées gratuitement à une école.
1. Combien de revenus de location le jardin perçoit-il? Montre les étapes.
2. Rédige un avis de trois phrases qui invite de nouveaux membres pour la saison prochaine.
3. Traduis l’avis en anglais.

Le bon revenu est de 685 $ : les 9 parcelles louées pour toute la saison rapportent 360 $, et 13 des 15 parcelles restantes sont louées pour une demi-saison, ce qui rapporte 325 $. Un modèle qui oublie les deux parcelles gratuites répondra 735 $. Ce petit piège est justement le but du test. Notez les réponses dans un tableau simple comme celui-ci (les résultats affichés sont donnés à titre d’illustration) :

Lancez le même prompt deux ou trois fois, puisque les réponses varient d’un essai à l’autre, et gardez exactement la même formulation d’un service à l’autre. Si le modèle 70B réussit tout pour votre tâche, vous n’avez peut-être pas besoin du 405B, et il vous coûtera moins cher à utiliser.

Ce qu’il faut surveiller

Hébergé ne veut pas dire privé. Quand vous utilisez un modèle hébergé, vos prompts sont envoyés aux serveurs de cette entreprise, selon ses conditions; lisez donc la politique de confidentialité avant d’y coller quoi que ce soit de sensible. Les services de clavardage gratuits peuvent aussi changer leur liste de modèles, ajouter des limites ou ralentir aux heures de pointe. Si vous avez besoin d’un accès garanti ou du contrôle de vos données, une API payante aux conditions claires, ou un jour votre propre matériel, devient le meilleur choix.

Combien coûtent les modèles ouverts hébergés?

Les essayer dans une application de clavardage ne coûte rien de plus qu’un compte. Les utiliser par une API est facturé au jeton, un petit morceau de texte qui équivaut à environ les trois quarts d’un mot. La page de tarifs de Together AI indique cette semaine Llama 3.1 405B Turbo à 5,00 $ US par million de jetons, entrée et sortie comptées ensemble. Le modèle 70B coûte 0,88 $ US par million dans sa version Turbo et 0,54 $ US dans sa version Lite, et le 8B coûte entre 0,10 $ US et 0,20 $ US selon la version.

À titre d’illustration, supposons que vous testiez 2 000 prompts d’en moyenne 1 500 jetons chacun, prompt et réponse compris. Cela fait 3 millions de jetons : environ 15 $ US sur 405B Turbo au prix affiché par Together, ou environ 2,64 $ US sur 70B Turbo. L’écart est assez grand pour qu’il vaille la peine de trouver le plus petit modèle qui réussit votre test.

Les prix des modèles ouverts ont aussi tendance à varier d’un fournisseur à l’autre, parce que chacun rivalise avec son propre matériel et ses propres logiciels. Avant de vous engager, comparez les pages de tarifs actuelles, vérifiez si le fournisseur compte l’entrée et la sortie séparément, et lancez votre prompt de test sur chaque candidat. Le modèle est le même Llama 3.1, mais la vitesse, les limites et les conditions, elles, ne le sont pas.