Comment l’IA peut-elle aider les personnes handicapées?

Pour bien des personnes handicapées, la promesse de l’IA est pratique plutôt que futuriste : lire l’étiquette d’une conserve, savoir ce que dit une lettre trouvée dans la boîte aux lettres, suivre un appel vidéo dans une langue qu’on ne parle pas. Deux types d’IA font la plus grande différence aujourd’hui. Les modèles de vision peuvent regarder une photo et la décrire en mots. Les modèles de parole peuvent écouter de l’audio et le transformer en texte à l’écran.

Les exemples ci-dessous viennent de personnes et d’entreprises qui conçoivent ces outils avec des utilisateurs handicapés. Ils montrent ce qui fonctionne bien, et aussi où les outils ont encore besoin d’une vérification humaine.

Décrire le monde : Be My AI

Be My Eyes est une application gratuite, fondée en 2015, qui met en contact des personnes aveugles ou malvoyantes avec des bénévoles voyants par appel vidéo en direct. En mars 2023, elle a annoncé un assistant d’IA propulsé par GPT-4 d’OpenAI, d’abord appelé Virtual Volunteer et maintenant nommé Be My AI. Vous prenez une photo avec votre téléphone, et l’IA la décrit et répond à vos questions à son sujet.

Ce qui le distingue des anciennes applications qui convertissent l’image en texte, c’est la conversation. Be My Eyes a donné l’exemple d’une photo de l’intérieur d’un réfrigérateur : l’IA peut dire ce qu’il contient, puis suggérer ce que vous pourriez cuisiner avec ces ingrédients. Si l’IA ne peut pas aider, l’application offre plutôt de vous mettre en contact avec un bénévole voyant.

Be My Eyes a testé l’outil avec soin avant de le lancer à grande échelle. Selon la fiche système (system card) d’OpenAI pour GPT-4 avec vision, le projet pilote a commencé avec près de 200 testeurs aveugles ou malvoyants. En septembre 2023, 16 000 testeurs demandaient environ 25 000 descriptions par jour.

Entendre en texte : les sous-titres en direct

Pour les personnes sourdes ou malentendantes, les sous-titres transforment le son en quelque chose qu’on peut lire. Les nouveaux PC Copilot+ de Microsoft, qui seront en vente le 18 juin, ajoutent la traduction en direct à Live Captions (sous-titres en direct) de Windows : tout audio qui joue sur l’ordinateur, d’un appel vidéo à un cours enregistré, s’affiche en sous-titres anglais en temps réel, traduit à partir de plus de 40 langues. Microsoft affirme que la fonction tourne sur la puce d’IA du portable lui-même et fonctionne même hors ligne : le son n’a donc pas besoin d’être envoyé ailleurs pour être transcrit.

Un exemple concret : lire une lettre avec Be My AI

Voici comment une personne aveugle pourrait s’occuper d’une enveloppe inconnue, étape par étape. Les descriptions sont données à titre d’illustration.

1. Prendre la photo. Tenez le téléphone au-dessus de la lettre, dans un bon éclairage. Be My AI décrit ce qu’il voit : une lettre d’une page du service de l’eau d’une ville, avec un tableau vers le bas.
2. Poser une question ciblée. « Qu’est-ce que cette lettre me demande de faire, et y a-t-il une date limite? » L’IA répond que la ville remplacera les compteurs d’eau de la rue et demande aux résidents de prendre rendez-vous avant une certaine date.
3. Demander le détail qui compte. « Lis-moi le numéro de téléphone et la date exactement, chiffre par chiffre. »
4. Vérifier ce qui comporte un risque. Pour tout ce qui touche l’argent, la santé ou une échéance juridique, confirmez les détails clés : appelez le numéro, ou touchez l’option pour joindre un bénévole voyant et demandez-lui de lire le même passage.

La même démarche fonctionne dans un robot conversationnel général qui accepte les photos, comme ChatGPT :

Je suis aveugle. Décris-moi cette photo dans cet ordre : de quel type de document il s’agit, qui l’a envoyé, ce qu’il me demande de faire, et toutes les dates, tous les montants et tous les numéros de téléphone. Lis les nombres chiffre par chiffre. Si une partie est floue ou coupée, dis-moi laquelle au lieu de deviner.

La dernière phrase est la plus importante. Elle invite le modèle à dire « Je ne peux pas lire ça » plutôt qu’à combler le vide.

Quelles sont ses limites en matière d’accessibilité?

La première limite est l’exactitude. Pendant le projet pilote de Be My AI, des testeurs ont signalé que le modèle commettait parfois des erreurs élémentaires tout en ayant l’air parfaitement sûr de lui, par exemple en nommant un plat qui ne figurait pas au menu. Pour cette raison, Be My Eyes demande à ses utilisateurs de ne pas compter sur l’IA pour des tâches liées à la sécurité et à la santé, comme lire une ordonnance, vérifier les allergènes sur une étiquette alimentaire ou décider quand traverser une rue. Elle précise aussi que l’IA ne devrait jamais remplacer une canne blanche ou un chien-guide. Dans le même rapport, les testeurs de l’équipe rouge (red team) ont constaté que le modèle pouvait manquer du texte, fusionner des mots voisins ou mal évaluer l’emplacement et la couleur des objets.

La deuxième limite concerne les personnes. Des testeurs aveugles ont dit à Be My Eyes qu’ils voulaient des descriptions des visages et des gens autour d’eux, le genre d’information qu’une personne voyante obtient d’un simple regard. Mais l’analyse des visages soulève des préoccupations de vie privée et de biais; le modèle est donc conçu pour ne pas identifier les gens par leur nom. Be My Eyes et OpenAI travaillent à des façons de décrire les traits visibles des personnes sans les nommer.

La troisième limite est l’adéquation. Aucun outil ne sert à lui seul tous les types de handicap, et les personnes qui vivent avec un handicap sont les mieux placées pour juger de ce qui les aide. Les outils qui fonctionnent le mieux sont ceux qui sont conçus avec leurs utilisateurs, comme l’a été la version bêta de Be My AI, et qui laissent la décision finale à la personne qui les utilise. Un bon outil d’accessibilité offre le choix : l’IA quand elle est rapide et suffisante, et un humain quand les enjeux ou les doutes sont grands.