Comment poser une question à ChatGPT sur une photo?

Depuis la fin de septembre, les utilisateurs de ChatGPT Plus et Enterprise obtiennent la possibilité de montrer des images à ChatGPT : une photo prise avec le téléphone, une capture d’écran, une page numérisée. Le modèle qui les lit est GPT-4 avec vision, qu’OpenAI appelle GPT-4V dans ses documents techniques. Vous pouvez ajouter plusieurs images à un même message et, dans l’application mobile, dessiner sur une photo pour pointer la partie qui vous intéresse.

Obtenir une bonne réponse fonctionne à peu près comme un bon prompt texte. L’image fournit les faits; vos mots fournissent l’objectif. Une photo accompagnée de « Qu’en penses-tu? » donne une description générale. Une photo accompagnée d’une question claire, d’un peu de contexte et d’une demande de montrer sa lecture donne quelque chose que vous pouvez utiliser et vérifier.

Les étapes de base

1. Dans l’application ou sur le site Web, touchez le bouton photo (sur mobile, d’abord le signe plus) et prenez ou choisissez une image. Vous pouvez en ajouter plus d’une.
2. Si seule une partie de l’image compte, utilisez l’outil de dessin de l’application mobile pour l’encercler.
3. Écrivez votre question dans le même message : ce que vous voulez, pour qui, sous quelle forme.
4. Demandez-lui d’énumérer d’abord ce qu’il voit. Cette seule habitude transforme une lecture cachée en quelque chose que vous pouvez vérifier.

Trois exemples concrets

Un frigo, pour des idées de souper. Les notes de version d’OpenAI mentionnent cet usage. La clé est de demander l’inventaire avant les recettes :

[Photo de l’intérieur d’un frigo]
D’abord, énumère tous les aliments que tu peux reconnaître sur cette photo, et marque d’un point d’interrogation ceux dont tu n’es pas certain. Ensuite, suggère deux soupers végétariens pour deux personnes qui utilisent surtout ces aliments et se préparent en moins de 40 minutes. J’ai aussi du riz, des pâtes, des oignons et des épices de base.

Si la liste indique « yogourt? » là où vous voyez de la crème sure, corrigez-la en une ligne et les recettes s’ajustent. Sans la liste, vous pourriez ne remarquer la confusion qu’au moment de cuisiner.

Un graphique, pour le travail. Les captures d’écran de graphiques sont un autre usage que nomme OpenAI. Les graphiques invitent aux erreurs de lecture faites avec aplomb; demandez donc la lecture brute séparément de l’interprétation :

[Capture d’écran d’un graphique à barres des visites mensuelles d’un site Web]
1. Lis la valeur de chaque barre aussi précisément que possible et mets-les dans un tableau. Indique si une valeur est une estimation.
2. Ensuite, décris la tendance en deux phrases.
3. Dis-moi ce que ce graphique ne peut pas montrer à lui seul.

Comparez le tableau avec les étiquettes du graphique avant de vous fier à la tendance. Si votre graphique repose sur un tableau de données, collez plutôt les chiffres; le texte est plus fiable que les pixels.

Une affiche en français. Pour un visiteur, ou pour une personne qui apprend le français, la photo d’une affiche de stationnement ou de sentier est un test pratique :

[Photo d’une affiche de stationnement municipale en français]
Transcris le texte français exactement tel qu’il est écrit, y compris les accents et les heures. Ensuite, traduis-le en anglais et explique en mots simples quand j’ai le droit de me stationner ici.

Demander d’abord la transcription exacte vous permet de la comparer à l’affiche lettre par lettre. S’il a bien lu « lundi au vendredi », mais mal lu une heure, vous le verrez avant de recevoir une contravention.

Ce qu’il ne faut pas lui montrer

Réfléchissez avant de téléverser. Recadrez pour retirer les visages, les adresses, les numéros de compte et les documents que vous ne remettriez pas à un inconnu. OpenAI a aussi limité ce que ChatGPT dira au sujet des personnes dans les images : GPT-4V est conçu pour refuser d’identifier qui est une personne ou de deviner, à partir d’une photo, des caractéristiques sensibles comme l’âge ou l’origine raciale.

Qu’est-ce qu’il peut mal lire?

Plus que ses réponses fluides ne le laissent croire. La fiche système (system card) de GPT-4V, le rapport de sécurité qu’OpenAI a publié avec le lancement, énumère les problèmes trouvés par ses testeurs, et il vaut la peine de les connaître avant de se fier à une lecture :

• Le texte et les symboles. Il peut manquer des lettres ou des caractères, ignorer des symboles mathématiques et fusionner deux étiquettes distinctes placées côte à côte en un seul terme inventé. Dans un graphique ou un schéma, cela peut changer le sens.
• Les positions et les couleurs. Les testeurs ont constaté qu’il peut avoir du mal à déterminer où se trouvent les choses dans une image et quelles couleurs correspondent à quelles valeurs, exactement ce sur quoi repose la légende d’un graphique.
• Les erreurs assurées. Il peut halluciner, c’est-à-dire décrire des choses qui ne sont pas là, sur un ton d’autorité. Une testeuse aveugle de l’application Be My Eyes, qui a utilisé GPT-4V tôt, a dit qu’il lui avait « affirmé avec beaucoup d’assurance qu’un plat figurait au menu alors qu’il n’y était pas ».
• Les autres langues. OpenAI affirme qu’il lit bien le texte en anglais, mais mal certaines autres langues, surtout celles qui ne s’écrivent pas en alphabet latin.

Certains usages sont exclus pour l’instant. Be My Eyes demande à ses utilisateurs de ne pas se fier à l’outil pour des tâches de sécurité ou de santé, comme lire une ordonnance, vérifier une liste d’ingrédients pour y repérer des allergènes ou décider quand traverser une rue, et OpenAI précise que GPT-4V ne convient à aucune fonction médicale et n’est pas fiable pour identifier des substances dangereuses ou des aliments toxiques, dont les champignons vénéneux. Pour tout ce qu’une mauvaise lecture pourrait rendre dangereux pour quelqu’un, servez-vous de la photo pour vous orienter, puis confirmez avec le document original, l’étiquette ou une personne qualifiée.