Comment Bard avec Gemini Pro se compare-t-il à ChatGPT?

Le 6 décembre, Google a donné à Bard ce qu’elle appelle sa plus importante mise à niveau : en anglais, le robot conversationnel répond maintenant avec une version spécialement ajustée de Gemini Pro, le modèle intermédiaire de la nouvelle famille Gemini. Cela change la comparaison que bien des gens faisaient au printemps, quand Bard semblait souvent avoir un pas de retard sur ChatGPT. La question est maintenant moins « lequel est le meilleur? » que « meilleur pour quoi, et face à quelle version de ChatGPT? »

La réponse dépend de la comparaison de choses comparables. Bard est gratuit. ChatGPT existe sous deux formes : la version gratuite, construite sur un modèle GPT-3.5, et ChatGPT Plus, un abonnement de 20 $ US par mois qui ajoute GPT-4, avec une limite sur le nombre de messages que vous pouvez envoyer. Comparer Bard gratuit avec GPT-4 payant, c’est comme comparer une bonne voiture familiale avec une voiture sport : les deux sont utiles, mais ce n’est pas le même achat.

Ce que Google affirme

Avant de l’intégrer à Bard, Google a soumis Gemini Pro à huit bancs d’essai largement utilisés (des ensembles de tests standard qui permettent aux chercheurs de comparer des modèles). L’entreprise rapporte que Gemini Pro a devancé GPT-3.5 sur six d’entre eux, dont MMLU, un vaste examen couvrant des dizaines de matières scolaires et professionnelles, et GSM8K, un ensemble de problèmes écrits de mathématiques du primaire. Google affirme aussi avoir ajusté cette version de Gemini Pro précisément pour la compréhension, le résumé, le raisonnement, la programmation et la planification, et que des évaluateurs externes, lors de tests à l’aveugle, ont préféré Bard aux autres robots conversationnels gratuits.

Deux mises en garde s’imposent. D’abord, ce sont les chiffres de l’entreprise elle-même; les résultats indépendants prennent du temps à paraître. Ensuite, un banc d’essai mesure une compétence étroite dans des conditions fixes, alors que votre usage quotidien mélange de nombreuses compétences avec votre propre façon de formuler. Une légère avance à un test ne garantit pas une meilleure réponse à votre question.

Pour l’instant, Bard avec Gemini Pro traite les prompts textuels, et Google affirme que d’autres types d’entrées suivront. Les anglophones de plus de 170 pays et territoires peuvent l’utiliser dès maintenant, et Google affirme que l’Europe et d’autres langues suivront. Le plus grand modèle, Gemini Ultra, n’est pas encore dans Bard; Google affirme qu’il arrivera dans une expérience distincte, Bard Advanced, au début de 2024, après d’autres vérifications de sécurité.

Où en est ChatGPT

Du côté d’OpenAI, la principale ligne de partage oppose GPT-3.5 à GPT-4. Quand OpenAI a présenté GPT-4 en mars, l’entreprise a indiqué que la différence peut être difficile à remarquer dans une conversation banale, mais qu’elle apparaît dans les tâches complexes, où GPT-4 est plus fiable, plus créatif et plus apte à suivre des consignes détaillées. À un examen du barreau simulé, par exemple, GPT-4 s’est classé autour des 10 % meilleurs candidats, alors que GPT-3.5 s’est classé autour des 10 % les plus faibles. Les deux modèles peuvent encore affirmer des faits erronés avec assurance, ce qu’OpenAI dit clairement.

Pour une personne débutante, un portrait réaliste ressemble donc à ceci :

Un test côte à côte à faire vous-même

Ouvrez Bard et ChatGPT dans deux onglets du navigateur et collez le même prompt dans chacun. Utilisez des tâches qui vous intéressent vraiment; en voici trois qui couvrent des compétences différentes.

Tâche 1 (résumé) : Résume le texte ci-dessous en cinq puces pour un gestionnaire très occupé. Garde chaque nombre exactement tel qu’il est écrit.
[colle un article ou un rapport de 400 à 600 mots]

Tâche 2 (planification) : Planifie une visite de trois jours dans une ville de ton choix pour deux adultes, avec un budget de 600 $ US sans compter le transport. L’un de nous se déplace en fauteuil roulant. Donne un tableau jour par jour et signale tout ce que je devrais confirmer avant de réserver.

Tâche 3 (raisonnement) : Une recette pour 6 personnes demande 450 g de farine et 3 œufs. Je dois cuisiner pour 15 personnes. Quelle quantité de chaque ingrédient me faut-il? Montre tes calculs et dis-moi comment gérer un demi-œuf.

Notez chaque réponse de 1 à 5 selon quatre critères : l’exactitude (vérifiez vous-même les chiffres), le respect de chaque consigne, la clarté, et la quantité de corrections que vous auriez à faire. Les notes ci-dessous sont un exemple illustratif de ce à quoi pourrait ressembler une grille remplie, pas de vrais résultats.

Quelles tâches conviennent à chacun?

Pour des résumés rapides, des reformulations et des questions de tous les jours, Bard gratuit avec Gemini Pro et ChatGPT gratuit sont assez proches pour que vos préférences et vos habitudes décident. Si l’avance de Google aux bancs d’essai se confirme, Bard pourrait avoir un avantage en raisonnement et en planification parmi les outils gratuits; il vaut donc la peine de l’essayer en premier pour des itinéraires, des plans étape par étape et des calculs simples. Dans un cas comme dans l’autre, vérifiez toujours l’arithmétique.

Pour des consignes longues et complexes, une rédaction soignée dans un style précis, ou des tâches où les petites erreurs comptent, GPT-4 dans ChatGPT Plus reste aujourd’hui le meilleur choix des trois, d’après les tests publiés par OpenAI. Il coûte de l’argent et comporte une limite de messages, alors il est logique de le réserver au travail qui en a besoin.

L’habitude la plus pratique consiste à garder les deux outils gratuits ouverts pendant une semaine et à soumettre vos vraies tâches à chacun. Quand deux bons modèles ne sont pas d’accord, ce désaccord est utile : il vous indique exactement quels faits vérifier avant de vous fier à l’une ou l’autre réponse.