# Qu’est-ce qu’une fiche technique de modèle, et comment la lire?

Date: 2022-07-27 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/lire-fiche-technique-modele-ia/

**Answer:** Une fiche technique de modèle (model card) est un court document publié avec un modèle d’IA qui explique à quoi il sert, comment il a été entraîné, comment il a été testé et où il montre ses limites. Pour la lire, vérifiez cinq choses dans l’ordre : ce qu’est le modèle, à quoi il est destiné, à partir de quoi il a appris, comment il a été évalué et quels risques ses auteurs énumèrent.

Quand vous achetez un médicament, la boîte contient un feuillet : ce qu’il traite, comment le prendre, qui ne devrait pas le prendre et quels effets secondaires prévoir. Une fiche technique de modèle (*model card*) joue le même rôle pour un modèle d’IA. Elle est rédigée par les personnes qui ont construit le modèle et publiée avec lui, afin que quiconque envisage de l’utiliser puisse décider s’il convient à son besoin.

L’idée vient d’un article de Margaret Mitchell, Timnit Gebru et leurs collègues, présenté à la conférence FAT* sur l’équité, la responsabilité et la transparence en janvier 2019. Ils proposaient que les modèles entraînés soient publiés avec de courts documents indiquant leur performance, non seulement en moyenne, mais aussi selon différents groupes de personnes et différentes conditions, et précisant le contexte auquel ils sont destinés. Les fiches techniques font maintenant partie intégrante des pages de modèles sur le Hugging Face Hub, et OpenAI en a publié une pour GPT-2 en 2019.

## Ce que contient une fiche technique

L’article d’origine propose neuf sections. Les fiches n’emploient pas toutes exactement ces titres, mais la plupart couvrent le même terrain :

| Section | Question à laquelle elle répond |
|---|---|
| Détails du modèle | Qui l’a construit, quand, quel type de modèle, quelle version et quelle licence? |
| Usage prévu | À quoi sert-il, qui devrait l’utiliser, et qu’est-ce qui sort de son champ? |
| Facteurs | Quels groupes ou quelles conditions pourraient changer son efficacité? |
| Mesures | Comment la performance est-elle mesurée, et pourquoi ces mesures? |
| Données d’évaluation | Sur quoi a-t-il été testé? |
| Données d’entraînement | À partir de quoi a-t-il appris? |
| Analyses quantitatives | Quels ont été les résultats, ventilés par groupe ou par condition? |
| Considérations éthiques | À quels risques les auteurs ont-ils réfléchi? |
| Mises en garde et recommandations | Que devraient savoir ou faire les utilisateurs? |

Les exemples de l’article lui-même étaient modestes : un modèle qui détecte les visages souriants dans des photos et un autre qui signale les commentaires toxiques dans du texte. La même structure décrit maintenant des modèles de langage de plusieurs milliards de paramètres.

## Un exemple concret : lire la fiche de BLOOM

BLOOM, le modèle multilingue de 176 milliards de paramètres publié ce mois-ci par la collaboration BigScience, possède l’une des fiches les plus détaillées à ce jour. Ouvrez-la à huggingface.co/bigscience/bloom et lisez-la à l’aide de cinq questions.

**1. Qu’est-ce que c’est?** Les détails du modèle indiquent que BLOOM est un modèle de langage fondé sur le Transformer qui prolonge un texte à partir d’un prompt, dans 46 langues naturelles et 13 langages de programmation. On y trouve les développeurs, les bailleurs de fonds (dont le gouvernement français et Hugging Face), la version et la licence, la BigScience RAIL License, qui comporte des restrictions d’usage.

**2. À quoi sert-il?** Dans la section sur l’usage prévu, la fiche explique que le modèle existe pour soutenir la recherche publique sur les grands modèles de langage, pour la génération de texte ou comme base pour un entraînement supplémentaire. Elle nomme clairement les usages hors champ : les contextes à fort enjeu, les domaines biomédical, politique, juridique ou financier, et l’évaluation de personnes pour l’emploi, l’éducation ou le crédit. Elle énumère aussi des abus comme le pourriel, la désinformation et l’usurpation d’identité sans consentement.

**3. À partir de quoi a-t-il appris?** La section sur l’entraînement fait état de 1,6 téraoctet de texte prétraité, d’un graphique de la part de chaque langue et de liens vers les fiches de chacun des jeux de données. Cela vous dit quelles langues le modèle a le plus et le moins vues, ce qui permet de prévoir où il sera le plus fort.

**4. Comment a-t-il été testé?** La section sur l’évaluation énumère ses mesures et les facteurs qui peuvent entraîner de grandes différences de comportement, comme la langue, le domaine et les caractéristiques démographiques. Le tableau des résultats est signalé en rouge comme résultats intermédiaires, parce que l’évaluation était encore en cours.

**5. Qu’est-ce qui pourrait mal tourner?** La section sur les risques est franche. Elle prévient que le modèle peut surreprésenter certains points de vue, contenir des stéréotypes et des renseignements personnels, produire du contenu haineux ou inapproprié, présenter des informations fausses comme des faits, se répéter et amener les utilisateurs à lui attribuer des traits humains, comme la sensibilité.

La fiche de GPT-2, publiée par OpenAI en 2019, suit un schéma semblable en moins de mots : elle désigne les chercheurs en IA comme principaux utilisateurs visés et déconseille les usages qui exigent que le texte soit vrai, puisque le modèle ne distingue pas les faits de la fiction.

> **À essayer :** choisissez n’importe quel modèle du Hugging Face Hub que vous pourriez utiliser, ouvrez sa fiche et répondez aux cinq questions ci-dessus en une phrase chacune. Si la fiche ne vous permet pas de répondre à l’une d’elles, écrivez « non précisé » et considérez que c’est aussi une information.

## Quels signaux d’alarme faut-il repérer?

Le premier signal d’alarme est une fiche absente ou presque vide. Certains modèles des plateformes publiques ne sont accompagnés que d’une ou deux lignes de description. Cela ne les rend pas mauvais, mais cela signifie que vous devrez tout tester vous-même.

Le deuxième est une fiche sans section sur l’usage prévu ou les usages hors champ. Si les auteurs n’ont pas dit à quoi sert le modèle, vous ne pouvez pas savoir si votre usage correspond à ce qu’ils ont testé. Méfiez-vous aussi des décalages : un modèle entraîné surtout sur des nouvelles en anglais, proposé sans commentaire pour des conseils médicaux en français, devrait vous faire réfléchir.

Troisièmement, regardez l’évaluation. Des résultats présentés seulement sous forme d’une moyenne unique peuvent cacher une faible performance pour certains groupes, et c’est exactement le problème que Mitchell et ses coauteurs voulaient régler. Des résultats signalés comme préliminaires, comme ceux de BLOOM en toute honnêteté, ne sont pas un signal d’alarme en soi, mais ils signifient que les chiffres pourraient changer.

Enfin, vérifiez si les données d’entraînement sont décrites, et si la licence permet ce que vous comptez faire. Une fiche vague sur les données et muette sur la licence laisse sans réponse les questions les plus importantes. Une bonne fiche ne garantit pas un bon modèle, mais une fiche mince vous indique combien de vérifications il vous reste à faire.

## Sources

- Model Cards for Model Reporting: https://arxiv.org/abs/1810.03993
- BLOOM model card (version 1.3, revision of 21 July 2022): https://huggingface.co/bigscience/bloom/blob/483e9e2e0489e2da4222246222f92a63689c33c9/README.md
- GPT-2 model card: https://github.com/openai/gpt-2/blob/master/model_card.md