Qu’est-ce que Poe, et pourquoi utiliser plusieurs robots conversationnels dans une seule application?

Poe s’est ouverte à tout le monde le 3 février, après des débuts sur invitation seulement en décembre. Le nom signifie Platform for Open Exploration (plateforme d’exploration ouverte), et l’idée est simple : Quora ne bâtit pas son propre modèle de langage. Elle vous offre plutôt un seul endroit pour parler à des modèles conçus par d’autres. L’application ressemble à une application de messagerie, et chaque robot est un fil de conversation distinct, comme chaque ami a son fil dans une application de textos.

Cette conception change la façon dont vous pouvez utiliser l’IA. Avec un seul robot conversationnel, vous obtenez une réponse et devez décider seul si vous pouvez vous y fier. Avec plusieurs, vous pouvez poser la même question à chacun et comparer. Quand ils sont d’accord, vous avez un peu plus confiance. Quand ils ne le sont pas, vous savez exactement par où commencer vos vérifications.

Ce que vous trouvez dans l’application aujourd’hui

Pour l’instant, Poe fonctionne seulement sur iPhone et iPad, et Quora dit que d’autres plateformes devraient suivre d’ici quelques mois. Pour vous inscrire, vous validez votre compte avec une adresse courriel et un numéro de téléphone. L’application elle-même est gratuite.

Trois robots polyvalents sont offerts :

• Sage, propulsé par OpenAI, l’entreprise derrière ChatGPT.
• Dragonfly, lui aussi propulsé par OpenAI. TechCrunch note qu’il peut refuser de répondre à certaines questions.
• Un troisième robot bâti sur une technologie d’Anthropic, une autre entreprise de recherche en IA.

Deux limites s’appliquent à tous. Sage et le robot d’Anthropic ne savent rien des événements postérieurs à 2021, parce que leurs textes d’entraînement s’arrêtent là. Et les trois sont connus pour affirmer des faits erronés avec assurance, ce qui explique en partie pourquoi Quora garde pour l’instant Poe à l’écart de son site principal de questions et réponses.

Poe a aussi un volet social. Vous pouvez créer un profil, suivre d’autres personnes et publier la réponse d’un robot dans un fil public, où les autres peuvent l’aimer ou la republier. Le chef de la direction de Quora, Adam D’Angelo, a dit s’attendre à l’arrivée de bien d’autres modèles, chacun ajusté pour des tâches ou des points de vue différents, et l’entreprise prévoit de permettre à des développeurs externes de brancher leurs propres modèles sur l’application.

Pourquoi plusieurs robots valent mieux qu’un

Chaque modèle de langage est façonné par ses textes d’entraînement et par les choix des personnes qui l’ont ajusté. Cela donne à chacun une personnalité reconnaissable : l’un peut écrire des réponses longues et prudentes, un autre des réponses courtes; l’un peut refuser une question limite, un autre peut y répondre.

Comparer les robots vous procure trois avantages pratiques :

1. Une vérification rapide des erreurs. Si deux robots donnent des dates ou des chiffres différents, au moins l’un d’eux se trompe.
2. De meilleurs brouillons. Pour les tâches de rédaction, deux versions vous donnent plus de formulations parmi lesquelles choisir.
3. Une idée de chaque outil. Après une semaine de questions côte à côte, vous apprenez quel robot convient à quel genre de tâche, de la même façon que vous apprenez à quel collègue poser quelle question.

Une comparaison complète

Voici un test simple que vous pouvez faire en quelques minutes. Envoyez exactement le même prompt à chaque robot, dans un nouveau fil, pour que les messages précédents n’influencent pas la réponse.

En trois phrases, explique à un enfant de 10 ans pourquoi le ciel est bleu. Donne ensuite une expérience simple qu’un enfant pourrait faire à la maison pour observer le même effet.

Remplissez ensuite un petit tableau comme celui-ci. Les entrées ci-dessous sont données à titre d’illustration, pour montrer le genre de différences à noter; ce ne sont pas de vrais résultats tirés de l’application.

Une question comme celle-ci fonctionne bien parce que vous pouvez vérifier la science dans n’importe quelle encyclopédie. Une fois que vous avez confiance en votre méthode de notation, essayez des questions tirées de votre propre travail.

Comment comparer les réponses de différents robots?

Commencez par garder le test équitable. Utilisez la même formulation pour chaque robot, ouvrez une nouvelle conversation chaque fois et ne posez qu’une seule question par prompt. Si vous changez la formulation d’un robot à l’autre, vous ne comparez plus les robots; vous comparez vos prompts.

Ensuite, jugez les réponses selon une courte liste de critères fixés à l’avance : est-ce exact, a-t-il suivi les consignes (longueur, format, public), est-ce complet et est-ce clair? Écrire les critères d’abord vous empêche de préférer tout simplement la réponse qui a l’air la plus assurée. L’assurance n’est pas l’exactitude; les trois robots peuvent sembler sûrs d’un fait erroné.

Enfin, traitez différemment l’accord et le désaccord. Quand les robots s’entendent sur un fait, une vérification rapide dans une source fiable vaut quand même la peine, car ils ont peut-être appris la même erreur. Quand ils ne s’entendent pas, vérifiez avant d’utiliser quoi que ce soit. Et pour tout ce qui s’est passé après 2021, ne vous fiez pas du tout à ces robots : cherchez plutôt l’information dans une source à jour.