Que dit la recherche sur l’IA et la productivité au travail?

Il y a un an, les affirmations sur l’IA et la productivité relevaient surtout de la conjecture. Il existe maintenant un petit corpus de recherche, mais solide, dans lequel de vrais travailleurs ont fait de vraies tâches, certains avec l’IA et d’autres sans, et des chercheurs ont comparé les résultats. Trois études se démarquent, et ensemble elles donnent un portrait plus nuancé que celui qu’offrent habituellement les enthousiastes comme les sceptiques.

Les trois utilisent une forme de comparaison aléatoire : les participants sont assignés au hasard à travailler avec ou sans l’outil d’IA, de sorte que les différences de résultats peuvent être attribuées à l’outil plutôt qu’à ceux qui ont choisi de l’utiliser. C’est ce devis qui fait qu’elles valent la peine d’être lues attentivement.

Trois études en un coup d’œil

Ce que chaque étude a mesuré

Les tâches de rédaction. Shakked Noy et Whitney Zhang ont demandé à des spécialistes du marketing, des rédacteurs de demandes de subvention, des analystes de données, des gestionnaires et d’autres de faire deux tâches de rédaction de 20 à 30 minutes. La moitié ont vu ChatGPT avant la deuxième tâche. En plus de la vitesse et de la qualité, les chercheuses ont suivi la façon dont les gens utilisaient leur temps. Avec ChatGPT, le temps de rédaction a diminué de plus de moitié et le temps de révision a plus que doublé. Beaucoup de participants ont collé le premier résultat en y changeant peu de chose.

Le soutien à la clientèle. Erik Brynjolfsson, Danielle Li et Lindsey Raymond ont étudié une entreprise qui a déployé par étapes un assistant conversationnel d’IA générative auprès de ses agents, ce qui leur a permis de comparer les agents avant et après l’accès. Au-delà du gain de 14 % en problèmes résolus par heure, les clients ont réagi plus positivement, moins de clients ont demandé à parler à un gestionnaire, et plus d’agents sont restés en poste.

La consultation. L’étude dirigée par Fabrizio Dell’Acqua a donné GPT-4 à des consultants, certains avec une courte formation sur les prompts. À l’intérieur de ce que les auteurs appellent la « frontière » des capacités de l’IA, comme trouver et développer des idées pour une nouvelle chaussure, les utilisateurs de l’IA en ont fait plus, plus vite et mieux. Puis est venue une tâche conçue pour se situer hors de cette frontière : une recommandation qui dépendait de la détection d’indices subtils, dans des notes d’entrevues, qui contredisaient un tableur. Là, les utilisateurs de l’IA ont fait moins bien : leur taux de bonnes réponses était inférieur de 19 points de pourcentage à celui des consultants qui travaillaient seuls.

Les limites à garder en tête

Chaque étude porte sur des tâches précises, sur des heures ou des mois, pas sur des carrières ou des entreprises entières. Les tâches de rédaction étaient courtes et autonomes. L’étude sur le soutien couvre une seule entreprise et un seul outil. Les tâches de consultation étaient réalistes, mais conçues pour une expérience. Aucune ne montre ce qui arrive aux salaires, à l’embauche ou à l’organisation du travail sur des années, et aucune ne peut vous dire si votre propre travail se situe à l’intérieur ou à l’extérieur de la frontière. Ça, c’est à vous de le tester.

Pourquoi certains travailleurs y gagnent-ils plus que d’autres?

Le résultat le plus constant, c’est que l’IA réduit l’écart entre les travailleurs moins expérimentés et les plus expérimentés. Dans l’étude sur le soutien, les plus grands gains sont allés aux agents plus nouveaux et moins qualifiés, tandis que les plus expérimentés ont vu peu de changement. Les auteurs suggèrent que l’assistant transmet le savoir-faire que les meilleurs agents ont accumulé : un nouvel agent bénéficie ainsi d’une partie de leur jugement dès le premier jour. Noy et Zhang ont observé quelque chose de semblable : ceux qui avaient obtenu les moins bons résultats à la première tâche se sont le plus améliorés. Dans l’étude sur la consultation, les personnes sous la moyenne de départ se sont améliorées de 43 %, contre 17 % pour celles au-dessus.

La deuxième raison tient au jugement, pas au niveau de compétence. Les capacités de l’IA sont inégales, ce que les auteurs de l’étude sur la consultation appellent une frontière « en dents de scie » (jagged) : deux tâches qui semblent aussi difficiles l’une que l’autre pour une personne peuvent être faciles pour l’IA ou hors de sa portée. Les travailleurs qui savent où se trouve cette limite y gagnent le plus. Les chercheurs ont observé deux styles gagnants. Certains consultants, surnommés « centaures », divisaient le travail, confiant certaines parties à l’IA et en gardant d’autres. D’autres, appelés « cyborgs », travaillaient avec l’IA en continu, vérifiant et orientant au fur et à mesure.

Ce contre quoi les études mettent en garde, c’est le troisième comportement : accepter un résultat sans le vérifier pour une tâche que l’IA ne sait pas vraiment faire. L’assurance de l’outil ne varie pas avec son exactitude : les gains vont donc à ceux qui continuent de se demander si cette tâche précise en est une qu’il maîtrise.