Qu’était Google Neural Machine Translation, et comment a-t-il changé Google Traduction?

Le 27 septembre 2016, Google a annoncé qu’un réseau de neurones faisait désormais la traduction dans Google Traduction, en commençant par le chinois vers l’anglais. Le système, appelé Google Neural Machine Translation, ou GNMT, lisait une phrase entière avant d’écrire sa traduction, au lieu de la traiter par morceaux séparés. Des évaluateurs bilingues ont jugé ses résultats bien meilleurs que ceux de la méthode qu’il remplaçait.

C’était un grand moment pour un domaine qui avait une longue histoire de déceptions. La traduction automatique était promise depuis les années 1950. GNMT a été l’une des premières fois qu’un système moderne d’apprentissage profond était mis devant le grand public pour une tâche aussi difficile, à cette échelle.

Ce que Google a annoncé, et quand

Deux choses sont arrivées ensemble. Le 26 septembre, l’équipe de recherche a déposé sur arXiv, l’archive en ligne d’articles de recherche, un rapport technique intitulé Google’s Neural Machine Translation System : Bridging the Gap between Human and Machine Translation. Il comptait 31 auteurs de Google, dont Yonghui Wu, Mike Schuster, Quoc V. Le, Oriol Vinyals et Jeffrey Dean.

Le lendemain, Le et Schuster, tous deux chercheurs scientifiques de l’équipe Google Brain, ont expliqué le travail sur le blogue de recherche de Google. Ils ont aussi révélé que GNMT était déjà en service : le site Web et les applications mobiles de Google Traduction l’utilisaient pour chaque demande du chinois vers l’anglais, soit environ 18 millions de traductions par jour. Google a dit qu’il étendrait le système, dans les mois suivants, à un plus grand nombre des plus de 10 000 paires de langues que Traduction prenait en charge.

Les sources datent le début de façon légèrement différente. L’annonce de Google est datée de septembre 2016, tandis que certains ouvrages de référence donnent novembre 2016, quand Google a activé la traduction neuronale pour beaucoup plus de langues.

En quoi il différait de l’ancienne méthode

Google Traduction avait été lancé dix ans plus tôt avec la traduction automatique par segments (phrase-based machine translation). Cette approche découpe une phrase en mots et en courts segments, traduit chaque morceau en bonne partie isolément à l’aide de statistiques, puis réarrange les résultats. Elle fonctionne, mais produit souvent des phrases raides et décousues, parce qu’aucune partie du système ne voit le sens global.

GNMT est un système de traduction automatique neuronale. Il traite la phrase entière comme une seule unité. Voici le processus, étape par étape, pour une phrase chinoise :

1. Encoder. Un réseau lit les mots chinois un par un et les transforme en une liste de vecteurs, de longues listes de nombres qui saisissent le sens de chaque mot dans son contexte.
2. Porter attention. Avant d’écrire chaque mot anglais, le système revient sur ces vecteurs et décide quels mots chinois comptent le plus à ce moment-là. C’est ce qu’on appelle l’attention.
3. Décoder. Un deuxième réseau produit la version anglaise mot par mot, à partir de l’information retenue par l’attention et des mots déjà écrits.

Les briques de base étaient des réseaux LSTM, un type de réseau de neurones conçu pour retenir l’information sur de longues séquences. GNMT en empilait huit couches pour la lecture et huit pour l’écriture, avec des connexions raccourcies entre les couches qui facilitent l’entraînement de piles aussi profondes.

L’ingénierie qui l’a fait fonctionner

La traduction neuronale existait en recherche depuis quelques années, mais elle était trop lente et trop maladroite avec les mots rares pour un vrai produit. GNMT s’est attaqué aux deux problèmes.

Pour les mots rares, il découpait le texte en morceaux de mots (wordpieces) : des fragments de mots courants. Un nom rare pouvait être séparé en plusieurs morceaux familiers, traduit, puis recousu. Cette approche se situe entre le travail sur des mots entiers, qui rate les mots rares, et le travail lettre par lettre, qui est lent.

Pour la vitesse, Google faisait tourner le système sur ses propres puces, appelées Tensor Processing Units, avec son logiciel à code source ouvert TensorFlow, et utilisait une arithmétique de moindre précision au moment de traduire.

Pourquoi c’était important

GNMT a montré que l’apprentissage profond pouvait remplacer un système mûr, soigneusement mis au point, dans un produit utilisé par des millions de personnes. Il réunissait plusieurs idées de recherche, l’apprentissage de séquence à séquence, l’attention et les unités sous-lexicales, et prouvait qu’elles pouvaient fonctionner assez vite et assez fiablement pour un usage quotidien.

Le déploiement a été rapide. Plus tard en 2016, le moteur neuronal a été activé pour huit langues vers et depuis l’anglais : le chinois, le français, l’allemand, le japonais, le coréen, le portugais, l’espagnol et le turc. En mars 2017, le russe, l’hindi, le vietnamien, l’hébreu et l’arabe ont suivi, et neuf langues de l’Inde ont été ajoutées à la fin d’avril 2017. Le système était aussi décrit comme capable de traduire directement entre des paires comme le japonais et le coréen, ce qu’on appelle la traduction zero-shot (zero-shot translation), au lieu de passer d’abord par l’anglais.

Quel chemin la traduction neuronale a-t-elle parcouru depuis GNMT, et où échoue-t-elle encore?

La traduction neuronale est maintenant la norme. Google Traduction prenait en charge 109 langues en octobre 2020. Des chercheurs externes l’ont mise à l’épreuve dans des contextes sérieux : une étude parue en juillet 2019 dans la revue Annals of Internal Medicine l’a jugée un outil viable et exact pour lire des essais médicaux publiés dans d’autres langues, ce qui pourrait aider les personnes qui font des revues de littérature à inclure des études qu’elles laisseraient autrement de côté.

Les faiblesses que Google nommait en 2016 n’ont pas disparu. Les systèmes oublient encore des mots, interprètent mal les noms et les termes techniques, et traduisent une phrase à la fois sans le contexte plus large.

Le conseil pratique est simple. Utilisez la traduction automatique pour saisir l’essentiel d’un texte, ou comme premier jet. Pour tout ce qui compte, comme un contrat, des instructions médicales ou un avis public, faites vérifier le résultat par une personne qui maîtrise la langue.