Société et travail

Comment utiliser l’IA pour rédiger le texte de remplacement des images?

· Par Robert Scales · 5 min de lecture

Réponse courte

Passez l’image dans un modèle de description d’images comme BLIP pour obtenir une première description rapide, puis réécrivez-la vous-même pour la page où elle paraît. L’IA peut dire ce qu’il y a dans l’image; vous seul savez pourquoi l’image est là, et un bon texte de remplacement dépend de cette raison d’être.

Le texte de remplacement est la courte description écrite associée à une image sur une page Web, dans l’attribut alt de la balise d’image HTML. Les lecteurs d’écran, les logiciels qu’utilisent de nombreuses personnes aveugles ou malvoyantes pour naviguer, le lisent à voix haute à la place de l’image. Il s’affiche aussi quand une image ne se charge pas. Beaucoup de sites l’omettent, parce que rédiger une bonne description pour chaque photo prend du temps.

Les modèles de description d’images peuvent aider pour le premier jet. Un tel modèle regarde une image et écrit une phrase qui la décrit. Mais une légende et un bon texte de remplacement ne sont pas la même chose, et c’est dans l’écart entre les deux qu’intervient votre jugement.

Ce que fait un modèle de description d’images

Une option performante et gratuite est BLIP, un modèle de chercheurs de Salesforce décrit dans un article publié pour la première fois en janvier. BLIP a été entraîné sur un grand nombre de paires d’images et de textes tirées du Web. Pour composer avec des légendes Web désordonnées, ses auteurs ont fait écrire au modèle ses propres légendes pour les images d’entraînement, puis ont utilisé un filtre pour écarter les mauvaises, un processus qu’ils appellent amorçage (bootstrapping). L’article fait état de résultats de pointe sur plusieurs tâches mêlant images et langage, dont la description d’images.

Vous n’avez rien à installer pour l’essayer. La page GitHub du projet renvoie à une démo Web sur Hugging Face Spaces et à un notebook Colab, une page de programmation partagée en ligne, qui produit des descriptions sans carte graphique. Vous téléversez une photo, et l’outil renvoie une description d’une ligne.

Ce que vous obtenez est une description littérale : les objets, les personnes et le décor que le modèle reconnaît. C’est une matière première utile. Ce n’est pas encore un texte de remplacement.

Pourquoi le contexte change la bonne réponse

La Web Accessibility Initiative du W3C, qui publie les principales lignes directrices sur l’accessibilité du Web, explique que le texte de remplacement d’une image informative doit transmettre le sens que l’image porte sur la page, et que ce n’est généralement pas une description littérale. Une description détaillée n’est nécessaire que lorsque le contenu visuel est lui-même l’information. Savoir si une image est informative, ou simplement décorative, est une décision que prend l’auteur de la page selon la raison d’être de l’image.

Un des exemples du W3C illustre l’idée : une photo de banque d’images montrant une famille souriante, utilisée pour signaler qu’une entreprise est accueillante pour les familles, reçoit un texte de remplacement qui rend cette impression plutôt qu’une liste des personnes dans le cadre. Un modèle de description ne peut pas connaître cette intention. Vous, oui.

Un exemple concret : une photo, trois pages

Imaginez la photo d’une boulangère qui sort du four une plaque de pains ronds. Un modèle de description pourrait renvoyer quelque chose comme la ligne ci-dessous. Ce résultat est donné à titre d’illustration; la formulation exacte varie.

Prompt
a woman holding a tray of bread in front of an oven

Adaptez maintenant le texte à la page où la photo paraîtra. Le nom de la boulangère et la formulation sont inventés pour l’exemple :

Où la photo paraîtRaison d’êtreTexte de remplacement révisé
Page produit du pain au levainMontrer le produitPains au levain ronds à la croûte foncée et craquelée, tout juste sortis du four
Page « Notre équipe »Présenter une personneLina Moreau, boulangère en chef, sort le pain du matin du four
Bannière de blogue, la même scène étant décrite dans le texte de l’articleDécorationalt="" (vide, pour que les lecteurs d’écran l’ignorent)

Remarquez trois changements. La version produit laisse tomber la personne et décrit ce qui intéresse un acheteur. La version équipe ajoute un nom et un rôle qu’aucun modèle ne pourrait connaître. La version bannière est vide exprès : le tutoriel du W3C note que lorsque le texte voisin couvre déjà ce que montre l’image, celle-ci peut être traitée comme décorative, et un attribut alt vide permet aux lecteurs d’écran de l’ignorer.

Quelques habitudes gardent les révisions courtes et utiles. Ne commencez pas par « image de » ou « photo de » : les lecteurs d’écran annoncent déjà qu’il s’agit d’une image. Mettez l’information la plus importante en premier. Limitez-vous à environ une phrase pour les photos ordinaires. Si une image contient du texte, comme une enseigne ou une affiche, incluez les mots qui comptent.

À essayer : choisissez trois images d’un site Web ou d’un diaporama que vous gérez. Passez chacune dans la démo de BLIP, collez la légende dans un document, puis rédigez à côté votre propre texte de remplacement selon la raison d’être de l’image sur cette page. Notez combien de mots vous avez gardés de la version machine.

Comment vérifier que la description est exacte et utile?

Commencez par l’exactitude. Les modèles de description font des erreurs avec assurance : ils peuvent mal compter les personnes, se tromper sur le genre ou l’âge, mal identifier un objet, ou décrire une action qui n’a pas lieu. Comparez chaque affirmation du brouillon avec l’image elle-même. Si vous ne pouvez pas confirmer un détail, comme l’identité d’une personne ou un lieu, retirez-le ou remplacez-le par ce que vous savez vraiment. Soyez particulièrement prudent avec les descriptions de personnes : décrivez ce qui est pertinent pour la page, pas des suppositions sur l’identité de quelqu’un.

Vérifiez ensuite l’utilité avec un test simple : cachez l’image et lisez seulement le texte de remplacement dans le contexte du paragraphe qui l’entoure. Une personne qui ne voit pas la photo obtiendrait-elle la même information ou la même impression qu’une personne qui la voit? Si le texte de remplacement répète la légende ou le paragraphe voisin, raccourcissez-le ou laissez-le vide. S’il omet quelque chose sur quoi la page s’appuie, comme le résultat montré dans un graphique, ajoutez-le, ou décrivez-le dans le texte principal, où tout le monde peut le lire.

Enfin, écoutez-le. Les lecteurs d’écran intégrés à la plupart des ordinateurs et des téléphones, comme VoiceOver sur les appareils Apple et le Narrateur sous Windows, liront votre page à voix haute. Entendre les textes de remplacement à la suite montre rapidement ce qui est trop long, ce qui se répète et ce qui manque. L’IA peut vous épargner l’étape de la page blanche, mais la description finale devrait toujours relever d’une décision humaine.

Sources

  1. Informative Images — Images Tutorial — W3C Web Accessibility Initiative (WAI), 17 juin 2019
  2. BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation — arXiv (Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi), 28 janvier 2022
  3. salesforce/BLIP (README) — Salesforce (GitHub), 31 octobre 2022

Recevez gratuitement le Guide de l’intelligence artificielle

Abonnez-vous à l’infolettre hebdomadaire et recevez le guide gratuit : ce qui a changé en IA cette semaine, une leçon, un prompt à essayer. Désabonnement en un clic.

Ce que nous faisons de votre adresse

Retour en haut

Affichage

Vos choix sont enregistrés dans ce navigateur seulement. Aucune donnée n’est transmise.

Taille du texte
100 %
Couleurs
Lecture
Autres réglages
Déclaration d’accessibilité