# Qu’est-ce que WaveNet, de DeepMind, et comment a-t-il rendu les voix d’ordinateur humaines?

Date: 2021-11-02 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-wavenet-deepmind/

**Answer:** WaveNet est un réseau de neurones présenté par DeepMind le 8 septembre 2016, qui crée l’audio un minuscule échantillon à la fois au lieu d’assembler des extraits enregistrés. Lors de tests d’écoute, il a produit la parole synthétique la plus naturelle entendue jusque-là, réduisant de moitié l’écart de qualité entre les meilleurs systèmes de synthèse vocale de Google et de vraies voix humaines.

Depuis des décennies, les voix d’ordinateur ont un défaut qui les trahit : un rythme plat, une jonction saccadée entre les syllabes, un ton qui ne semble jamais tout à fait vivant. Le 8 septembre 2016, DeepMind, le laboratoire londonien qui appartient à Google, a montré une autre façon de faire parler une machine. Son système, **WaveNet**, n’assemblait pas la parole à partir de morceaux enregistrés. Il dessinait l’onde sonore elle-même, un point à la fois.

Le résultat a surpris bien des chercheurs en audio. Lors de tests à l’aveugle, les auditeurs ont jugé la parole de WaveNet beaucoup plus proche d’une vraie personne que tout ce que Google utilisait. Le même réseau pouvait aussi inventer de courts morceaux de piano, parce qu’il avait appris à modéliser le son en général, pas seulement la parole.

## Comment les ordinateurs parlaient avant WaveNet

Transformer un texte écrit en audio parlé s’appelle la **synthèse vocale** (*text-to-speech*, ou TTS). En 2016, la plupart des systèmes utilisaient l’une de deux méthodes.

| Méthode | Fonctionnement | Faiblesse |
|---|---|---|
| Synthèse par concaténation | Enregistrer une personne qui lit pendant des heures, découper l’audio en minuscules fragments, puis recoller les fragments pour former de nouvelles phrases | Changer la voix, l’émotion ou l’intonation exige d’enregistrer une toute nouvelle banque |
| Synthèse paramétrique | Conserver une description mathématique de la voix et produire le son au moyen d’un processeur de signal appelé **vocodeur** | Souple, mais sonne en général bourdonnant et moins naturel |
| WaveNet | Un réseau de neurones prédit directement l’onde sonore brute, un échantillon après l’autre | Très naturel, mais lent et coûteux à calculer dans sa première version |

Le billet de blogue de DeepMind, rédigé par Aäron van den Oord de DeepMind, Heiga Zen de Google et Sander Dieleman de DeepMind, présentait WaveNet comme une façon d’obtenir la souplesse de la synthèse paramétrique avec une meilleure qualité que l’une ou l’autre des anciennes méthodes.

## Comment WaveNet fonctionne

L’audio numérique est une longue liste de nombres. Chaque nombre, appelé **échantillon**, enregistre la position de l’onde sonore à un instant donné. L’audio de parole compte généralement 16 000 échantillons ou plus par seconde. WaveNet est **autorégressif** : il prédit l’échantillon suivant à partir de tous les échantillons précédents, ajoute sa prédiction à la liste, puis prédit le suivant, et ainsi de suite.

Imaginez tracer une longue ligne ondulée sur du papier quadrillé, un point à la fois, où chaque nouveau point dépend de la forme de tout ce que vous avez déjà dessiné. Pour garder les prédictions gérables, WaveNet traite chaque échantillon comme l’un de 256 niveaux possibles et choisit parmi eux à l’aide de probabilités.

Le défi, c’est de voir assez loin en arrière. Une seconde de parole compte des milliers d’échantillons, et une syllabe ou un mot en couvre beaucoup. WaveNet utilise des **convolutions dilatées** : des couches qui examinent des entrées de plus en plus espacées à mesure qu’on descend dans le réseau, un peu comme lire chaque lettre, puis une lettre sur deux, puis une sur quatre. Cela permet à sa « mémoire » du passé de croître très rapidement avec chaque couche ajoutée.

Voici ce qui se passe quand WaveNet prononce une phrase :

1. Le texte est converti en caractéristiques linguistiques et phonétiques : quel son, quelle syllabe et quel mot viennent ensuite.
2. Ces caractéristiques sont fournies au réseau en même temps que l’audio produit jusque-là.
3. Le réseau calcule une probabilité pour chacune des 256 valeurs suivantes possibles et en tire une.
4. Cette valeur s’ajoute à l’audio, et le processus recommence, 16 000 fois pour chaque seconde de son.

Retirez le texte de l’étape 1, et WaveNet parle encore, mais il babille : de vrais mots mêlés à des mots inventés, plus des respirations et des bruits de bouche. Donnez-lui l’identité d’une personne comme entrée supplémentaire, et le même réseau peut passer d’une voix à l’autre parmi plusieurs. DeepMind a remarqué ici quelque chose d’inattendu : apprendre à partir de nombreuses voix améliorait son imitation de chaque voix individuelle.

> **À essayer :** utilisez la voix de synthèse de votre téléphone ou de votre ordinateur pour lire à voix haute la même phrase avec deux ou trois voix différentes. Repérez où elle sonne robotique : les jonctions entre les mots, le rythme, la fin d’une question. Ce sont exactement les détails qu’un modèle comme WaveNet a été conçu pour réussir.

## Ce que les tests ont montré

DeepMind a entraîné WaveNet sur certains des jeux de données vocales de Google et a demandé à des personnes de noter des échantillons sur une échelle de 1 à 5, une mesure standard appelée note moyenne d’opinion (*Mean Opinion Score*). Les tests ont porté sur plus de 500 notes attribuées à 100 phrases, en anglais américain et en chinois mandarin. Dans chaque langue, WaveNet a comblé plus de la moitié de l’écart entre les meilleurs systèmes existants de Google et des enregistrements de vraies personnes.

L’article, déposé quelques jours plus tard, le 12 septembre 2016, sur arXiv, l’archive de recherche, comptait neuf auteurs, dont van den Oord, Dieleman, Zen, Oriol Vinyals, Alex Graves et Koray Kavukcuoglu. Il montrait aussi que WaveNet pouvait aider à reconnaître les sons de la parole, pas seulement à les produire.

Il y avait un gros bémol. Construire l’audio un échantillon à la fois est lent, et DeepMind a indiqué que la première version demandait trop de puissance de calcul pour être utilisée dans de vrais produits.

## Pourquoi c’était important

WaveNet a montré qu’un réseau de neurones pouvait modéliser directement le son brut et battre des systèmes que des experts avaient peaufinés pendant des années. Il a aussi montré qu’une seule méthode générale pouvait couvrir la parole, de nombreuses voix et la musique. Pour un laboratoire surtout connu pour ses programmes de jeu comme AlphaGo, c’était un signe clair que ses méthodes d’apprentissage allaient bien au-delà des jeux.

Le problème de vitesse n’a pas duré longtemps. En octobre 2017, Google a annoncé une version environ 1 000 fois plus rapide, de meilleure qualité, et a commencé à l’utiliser pour les voix de l’Assistant Google en anglais américain et en japonais. Un article de DeepMind paru en novembre 2017 décrivait une méthode appelée distillation de densité de probabilité, qui produit une parole de grande qualité plus de vingt fois plus vite que le temps nécessaire pour la faire jouer.

## Où WaveNet est-il utilisé aujourd’hui, et quelles inquiétudes soulève-t-il?

L’usage le plus visible se trouve dans les produits vocaux de Google lui-même. À sa conférence pour développeurs I/O, en mai 2018, l’entreprise a présenté de nouvelles voix de l’Assistant conçues avec WaveNet, et a expliqué que l’approche exigeait beaucoup moins d’enregistrements en studio pour créer chaque nouvelle voix. Des chercheurs ont aussi utilisé des modèles du type WaveNet pour convertir la voix d’une personne en celle d’une autre tout en gardant les mots, et des travaux ultérieurs ont réduit à quelques minutes la quantité d’audio enregistré nécessaire pour imiter une voix.

Cette dernière capacité est aussi la principale inquiétude. Un système qui peut copier une voix à partir d’un court enregistrement pourrait servir à truquer un appel téléphonique ou une déclaration publique. Des entreprises qui travaillent au clonage de voix ont discuté de filigranes audio cachés pour que la parole synthétique puisse être détectée. Pour les auditeurs, le réflexe pratique est le même que celui qu’on applique maintenant aux photos et aux textes : une voix familière ne prouve pas à elle seule l’identité de la personne qui parle, surtout quand un message demande de l’argent ou une action urgente.

## Sources

- WaveNet: A Generative Model for Raw Audio: https://web.archive.org/web/20160908190048/https://deepmind.com/blog/wavenet-generative-model-raw-audio/
- WaveNet: A Generative Model for Raw Audio: https://arxiv.org/abs/1609.03499
- WaveNet: https://en.wikipedia.org/w/index.php?title=WaveNet&oldid=1030925051