Pourquoi ChatGPT ne connaît-il pas les événements récents?

Interrogez ChatGPT sur un événement survenu la semaine dernière et vous obtiendrez habituellement l’une de deux réponses : une note polie indiquant qu’il n’a pas d’information sur les événements récents, ou un paragraphe assuré qui se révèle inventé. Les deux découlent d’un même fait sur la façon dont il a été construit. ChatGPT ne lit pas l’actualité. Il ne l’a jamais fait.

L’interface le dit d’emblée. Parmi les avertissements de l’interface Web de ChatGPT, note The Verge, l’un indique que ses connaissances de tout ce qui est postérieur à 2021 sont limitées. Comprendre pourquoi, et ce que cela signifie pour vos questions, vous évitera certaines de ses erreurs les plus convaincantes.

Un instantané, pas un fil d’actualité

ChatGPT est un modèle de langage : un programme qui a appris à prédire du texte en étudiant une énorme collection d’écrits. Cet apprentissage a lieu pendant l’entraînement, un processus long et coûteux qui s’exécute une fois sur un ensemble fixe de textes. Quand l’entraînement se termine, les connaissances du modèle sont figées. Tout ce qu’il « sait » est une régularité qu’il a absorbée dans cette collection.

OpenAI dit que ChatGPT a été ajusté à partir d’un de ses modèles GPT-3.5, dont l’entraînement s’est terminé au début de 2022. Les textes qui le sous-tendent ont été rassemblés avant, et l’interface désigne 2021 comme l’année après laquelle ses connaissances s’amenuisent. Les événements postérieurs ne font tout simplement pas partie de ce qu’il a appris, ou n’y apparaissent que par bribes.

Un moteur de recherche, c’est autre chose. Il visite constamment des pages Web et peut vous montrer un article publié il y a quelques minutes. ChatGPT n’a aucune connexion de ce genre. Dans l’un des exemples de lancement d’OpenAI, le modèle explique qu’il ne peut pas naviguer sur Internet ni accéder à du contenu externe. Il ne travaille qu’à partir de ce qu’il a absorbé pendant l’entraînement et de ce que vous tapez dans la conversation en cours.

Pourquoi il devine au lieu de dire « je ne sais pas »

Le plus grand risque n’est pas le silence, mais l’invention. Le billet de lancement d’OpenAI admet que ChatGPT écrit parfois des réponses qui semblent plausibles, mais qui sont fausses, et que ses réponses peuvent changer selon de petites modifications dans la formulation : une tournure obtient « je ne sais pas », une autre obtient une réponse. Le modèle est conçu pour produire un texte vraisemblable, et un résumé d’actualité assuré est un texte très vraisemblable.

Quand vous l’interrogez sur un sujet récent, vous pouvez donc obtenir une réponse qui mêle des faits plus anciens qu’il connaît à des détails qui collent au modèle, mais qui ne se sont jamais produits. Il ne signalera pas quelles parties sont lesquelles.

Un exemple concret : une question à laquelle il ne peut pas répondre

Voici une question sur un événement survenu il y a seulement deux semaines, qui ne peut donc pas figurer dans les textes d’entraînement du modèle.

Résume comment les gens ont réagi au lancement de ChatGPT par OpenAI le 30 novembre 2022. Inclus deux réactions marquantes.

Vous pourriez voir deux types de réponses. Les deux exemples sont illustratifs, pas des transcriptions.

La version honnête est la plus utile, même si elle a l’air d’une non-réponse. La version assurée est un piège. Elle se lit bien justement parce que le modèle excelle à écrire le genre de texte que contient habituellement un résumé d’actualité.

Vous pouvez faire jouer les limites du modèle en votre faveur en lui fournissant vous-même les faits.

Voici trois paragraphes tirés d’articles de presse fiables sur le lancement de ChatGPT. [colle le texte]
Résume les principales réactions en cinq puces, en utilisant seulement l’information contenue dans ces paragraphes.

Le modèle fait maintenant ce qu’il fait bien, réorganiser et résumer du texte, et les faits viennent de sources que vous avez choisies.

Qu’est-ce qu’une date limite d’entraînement?

Une date limite d’entraînement est le moment après lequel un modèle n’a vu que peu ou pas de texte. Elle reflète le moment où la collection de textes d’entraînement a été rassemblée, pas le jour du lancement du modèle; c’est pourquoi un modèle lancé à la fin de 2022 peut en savoir peu sur la période qui commence en 2021. La limite est aussi floue plutôt que nette. The Verge avance que, si les connaissances de ChatGPT sont décrites comme limitées après 2021, c’est très probablement parce que ses textes d’entraînement deviennent beaucoup plus rares après cette année-là; il peut donc en savoir un peu sur certains événements ultérieurs et rien sur d’autres.

Deux règles pratiques en découlent. D’abord, pour tout ce qui est récent, comme l’actualité, les prix, les lois, les versions de produits, les résultats sportifs ou l’identité de la personne qui occupe un poste aujourd’hui, utilisez une source mise à jour : un moteur de recherche, un site de nouvelles, une page officielle. Ensuite, quand une réponse dépend du moment, demandez-vous si les faits ont pu changer depuis 2021. Si c’est le cas, vérifiez-les.

La date limite n’est pas un défaut qu’un petit effort de plus corrigera dans cette version du modèle. C’est une propriété fondamentale de la façon dont les modèles de langage sont construits aujourd’hui. Beaucoup s’attendent à ce que les systèmes futurs combinent un modèle comme celui-ci avec la recherche en direct, mais le ChatGPT offert ce mois-ci est un instantané, et la meilleure façon de l’utiliser est de savoir où l’instantané s’arrête.