Comment ChatGPT peut-il maintenant voir, entendre et parler, et qu’est-ce qu’on peut en faire?

Hier, OpenAI a annoncé que ChatGPT peut « voir, entendre et parler ». Au cours des deux prochaines semaines, les abonnés payants pourront lui parler à voix haute et l’entendre répondre, et lui montrer des images, de la photo d’un électroménager brisé à la capture d’écran d’un graphique, pour lui poser des questions à leur sujet.

Jusqu’ici, ChatGPT était surtout une affaire de clavier. Ces ajouts le rendent multimodal, un terme qui désigne les systèmes d’IA capables de traiter plus d’un type d’entrée, ici le texte, la parole et les images. OpenAI le présente comme une façon plus naturelle de travailler avec l’assistant : dites ce que vous voulez dire, ou montrez-le, tout simplement.

Ce qu’OpenAI a annoncé, et qui y a accès

Le déploiement vise les utilisateurs de ChatGPT Plus et Enterprise; il commence le 25 septembre et s’étale sur deux semaines.

OpenAI dit prévoir d’étendre ces capacités au-delà des abonnés, notamment aux développeurs, peu après.

Comment fonctionne la voix

Une conversation à voix haute enchaîne trois étapes :

1. De la parole au texte. Vos paroles sont transcrites par Whisper, le système de reconnaissance vocale à code source ouvert d’OpenAI, déjà utilisé dans l’application ChatGPT pour iPhone depuis mai.
2. La réflexion. ChatGPT lit la transcription et rédige une réponse, comme il le fait avec les messages tapés.
3. Du texte à la parole. Un nouveau modèle de synthèse vocale lit la réponse à voix haute.

C’est cette dernière partie qui est nouvelle. OpenAI affirme que le modèle peut produire une voix semblable à celle d’un humain à partir d’un texte et de quelques secondes seulement d’un échantillon de parole. L’entreprise a travaillé avec des comédiens professionnels pour créer cinq voix, nommées Juniper, Sky, Cove, Ember et Breeze, et vous choisissez celle qui vous plaît.

Les suggestions d’OpenAI sont toutes simples : discuter pendant vos déplacements, demander une histoire avant le dodo ou trancher un débat à table.

Comment fonctionne l’entrée d’images

Vous pouvez téléverser une ou plusieurs images et poser des questions à leur sujet. Sur le téléphone, un outil de dessin permet d’encercler la partie qui vous intéresse. En coulisse, selon OpenAI, la compréhension des images repose sur des versions multimodales de GPT-3.5 et de GPT-4, qui appliquent leurs habiletés langagières aux photographies, aux captures d’écran et aux documents qui mêlent texte et images.

OpenAI n’a pas expliqué en détail le fonctionnement interne de son modèle de lecture d’images, qu’Ars Technica appelle GPT-4V. Ars souligne que ce genre de système convertit habituellement les images et le texte en une représentation interne commune, pour qu’un seul réseau puisse raisonner sur les deux, tout en précisant qu’il s’agit de connaissances générales tirées de la recherche, et non d’une description fournie par OpenAI.

Un exemple concret, inspiré des scénarios décrits par OpenAI :

[Photo d’un réfrigérateur ouvert et d’une tablette du garde-manger]
Voici ce que j’ai à la maison ce soir. Suggère deux soupers que je peux préparer en moins de 30 minutes, surtout avec ces ingrédients. Donne-moi ensuite les instructions étape par étape pour le premier.

Une bonne réponse nomme les ingrédients qu’elle a reconnus, pour que vous puissiez repérer toute erreur de lecture, propose deux repas et énumère des étapes claires. Parmi les autres exemples d’OpenAI : discuter d’un monument que vous photographiez en voyage, comprendre pourquoi un barbecue ne démarre pas, analyser un graphique de travail et aider un enfant avec un problème de maths en le photographiant et en l’encerclant. Sa vidéo de démonstration montre une personne qui obtient de l’aide pour relever la selle d’un vélo à partir de photos du vélo, du manuel et d’un coffre à outils.

Les risques que nomme OpenAI

OpenAI est particulièrement précise sur ce qui pourrait mal tourner.

Le clonage de voix. Un modèle capable d’imiter une voix à partir de quelques secondes de parole pourrait aider quelqu’un à se faire passer pour une personnalité publique ou à commettre une fraude. C’est pourquoi OpenAI le limite à un seul usage, la conversation vocale, avec des voix créées à partir de comédiens avec qui elle a travaillé directement. Elle mentionne aussi un partenaire : Spotify mène un projet pilote qui traduit des balados dans d’autres langues avec la voix même de l’animateur.

Les erreurs sur les images. Le modèle peut halluciner, c’est-à-dire affirmer des choses qui ne sont pas là, y compris au sujet de personnes. OpenAI déconseille de se fier à sa lecture des images dans les domaines où les enjeux sont élevés, et précise que le modèle lit bien le texte en anglais, mais mal certaines autres langues, surtout celles qui ne s’écrivent pas en alphabet latin.

La vie privée. OpenAI dit avoir pris des mesures techniques qui limitent fortement la mesure dans laquelle ChatGPT analysera les personnes qui apparaissent dans les images, ou les commentera directement. Son approche a été façonnée par son travail avec Be My Eyes, une application gratuite pour les personnes aveugles ou malvoyantes, dont les utilisateurs ont dit qu’il est précieux de pouvoir parler d’images qui montrent, par hasard, des gens à l’arrière-plan. Avant le lancement, des membres d’équipes rouges (red teamers) externes ont testé le modèle pour repérer des risques dans des domaines comme l’extrémisme et les connaissances scientifiques, en plus d’un groupe varié d’essayeurs de la première heure.

Pourquoi c’est important

La voix rend ChatGPT utilisable quand vous avez les mains occupées ou que taper est difficile, et elle rapproche l’assistant d’un véritable interlocuteur. L’entrée d’images élimine l’une des plus grandes frictions qui soient : décrire avec des mots ce qui est plus facile à montrer. Pour les personnes malvoyantes, le travail avec Be My Eyes laisse entrevoir une aide réelle dans les tâches quotidiennes.

Le déploiement est graduel à dessein. OpenAI affirme que lancer ses outils étape par étape lui permet d’améliorer ses mesures de protection au fil du temps, ce qui compte davantage avec la voix et la vision qu’avec le texte seul.

Que faut-il garder en tête avant de montrer une photo à ChatGPT?

Pensez à ce qui se trouve dans le cadre. Recadrez pour retirer les visages, les adresses, les numéros de compte et tout ce qui est confidentiel avant de téléverser l’image, et servez-vous de l’outil de dessin pour attirer l’attention sur la partie qui compte.

Traitez la réponse comme une première lecture utile, pas comme un verdict. Demandez à l’assistant d’énumérer ce qu’il voit avant de tirer des conclusions, pour repérer tôt les erreurs de lecture. Pour tout ce qui touche la santé, le droit, les finances ou la sécurité, servez-vous-en pour préparer vos questions à une personne qualifiée, pas pour la remplacer.

Enfin, rappelez-vous ses points faibles connus : le texte dans les langues qui n’utilisent pas l’alphabet latin, les petits caractères et les jugements sur les personnes. Dans ces limites, une photo rapide et une question claire peuvent vous épargner beaucoup de saisie.