Comment se comparent ChatGPT, Bing Chat et Bard?

Pour la première fois, trois grands robots conversationnels sont ouverts au public en même temps. ChatGPT est arrivé le premier, à la fin de 2022. Microsoft a ajouté un mode de clavardage à Bing le 7 février. Et le 21 mars, Google a commencé à admettre dans Bard les gens des États-Unis et du Royaume-Uni par une liste d’attente. Ils se ressemblent : une zone de texte, une conversation, une IA qui répond par des phrases complètes. En dessous, ils sont conçus pour des tâches différentes.

Comment fonctionne chacun?

ChatGPT vient d’OpenAI. Les abonnés de ChatGPT Plus peuvent utiliser GPT-4, le plus récent modèle d’OpenAI, dans la limite d’un plafond d’utilisation; la version gratuite ne l’inclut pas. Les deux versions écrivent à partir de régularités apprises pendant l’entraînement. OpenAI affirme que GPT-4 ne connaît généralement pas les événements postérieurs à septembre 2021, et le modèle ne cherche pas sur le Web pendant que vous clavardez. Sa force : une rédaction et des explications fluides et souples.

Bing Chat fait partie du moteur de recherche de Microsoft. Il utilise un modèle d’OpenAI enveloppé dans une technologie propre à Microsoft, que l’entreprise appelle Prometheus, ce qui lui permet d’aller chercher des résultats de recherche à jour avant de répondre. Il peut donc traiter des questions sur des événements récents, et il énumère les pages qu’il a utilisées dans une section « En savoir plus » à la fin de chaque réponse. Il faut s’inscrire sur une liste d’attente pour avoir un accès complet.

Bard fonctionne avec une version allégée et optimisée de LaMDA, un grand modèle de langage sur lequel Google fait des recherches depuis un certain temps. Google le décrit comme une expérience préliminaire et un complément à la recherche plutôt qu’un remplacement. Bard affiche souvent quelques ébauches différentes de sa réponse pour que vous choisissiez un point de départ, et un bouton « Google it » ouvre la recherche dans un nouvel onglet pour vérifier la réponse. Google limite le nombre d’échanges dans une conversation pour aider à garder les discussions sur le sujet, et affirme que l’aide à la programmation, d’autres langues et des fonctions d’images viendront plus tard.

Les trois font des erreurs. L’annonce même de Google montre Bard en train de se tromper sur le nom scientifique de la plante ZZ. OpenAI affirme que GPT-4 invente encore des faits et fait des erreurs de raisonnement, quoique moins souvent que les modèles précédents.

Un test côte à côte sur trois tâches

La comparaison la plus juste consiste à envoyer les trois mêmes prompts à chaque robot conversationnel, chacun dans une nouvelle conversation :

1. Faits : quel est le point d’ébullition de l’eau au sommet du mont Everest, et pourquoi est-il différent de celui au niveau de la mer?
2. Rédaction : écris un courriel amical de 100 mots pour inviter mes voisins à une corvée de nettoyage de la rue samedi matin.
3. Actualité : quelles sont les trois plus grandes nouvelles technologiques de la dernière semaine?

Notez ensuite chaque réponse. Le tableau ci-dessous montre quoi surveiller, d’après la façon dont chaque outil est conçu. Il sert d’illustration; ce ne sont pas de vrais résultats de test :

Pour la question factuelle, vérifiez le point d’ébullition dans un ouvrage de référence fiable : un robot conversationnel peut expliquer la bonne idée et donner quand même un mauvais chiffre. Pour le courriel, jugez le ton et la longueur par rapport à votre demande. Pour la question d’actualité, ouvrez les sources et confirmez que les nouvelles datent vraiment de la dernière semaine.

Lequel utiliser pour quelle tâche?

Utilisez Bing Chat quand la réponse dépend d’information à jour ou quand vous devez montrer d’où vient un fait : nouvelles, prix, produits lancés récemment, ou tout ce que vous comptez citer. Ouvrez les liens avant de vous fier à la réponse.

Utilisez ChatGPT pour les tâches de rédaction et de réflexion où les faits viennent de vous ou ne changent pas : rédiger des courriels, réécrire un paragraphe en termes plus simples, trouver des idées, faire un plan ou expliquer un concept stable. Si vous avez Plus, GPT-4 vaut la peine d’être essayé pour les raisonnements plus difficiles et les consignes plus longues et plus minutieuses.

Utilisez Bard si vous êtes aux États-Unis ou au Royaume-Uni et que vous voulez voir des solutions de rechange côte à côte, ou si vous faites déjà la plupart de vos vérifications dans la recherche Google. Traitez-le comme Google l’entend : une expérience à essayer, avec le bouton « Google it » à portée de main.

Pour tout ce qui est important, utilisez-en deux. Quand ils s’entendent, vérifiez une fois dans une source fiable. Quand ils ne s’entendent pas, vous avez trouvé exactement l’affirmation que vous devez vérifier.