# Qu’est-ce que MuseNet d’OpenAI, et comment une IA compose-t-elle de la musique?

Date: 2019-04-26 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/qu-est-ce-que-musenet-openai/

**Answer:** MuseNet est un réseau de neurones dévoilé par OpenAI le 25 avril 2019 qui écrit des morceaux d’une durée maximale de quatre minutes pour jusqu’à dix instruments, dans des styles allant de Mozart et Chopin aux Beatles et au country. Il a appris en prédisant la note suivante dans des centaines de milliers de fichiers MIDI, à l’aide du même type de modèle Transformer que GPT-2, le générateur de texte d’OpenAI.

Hier, OpenAI a présenté MuseNet, un programme qui compose de la musique. Donnez-lui un style, un ensemble d’instruments et, si vous le voulez, les premières notes d’une pièce célèbre, et il poursuit avec une nouvelle composition qui peut durer jusqu’à quatre minutes. Il peut aussi mélanger les styles : le début d’un nocturne de Chopin prolongé en chanson pop avec piano, batterie, basse et guitare.

Pour le faire valoir, OpenAI a tenu un concert expérimental diffusé en direct sur sa chaîne Twitch, en faisant jouer des pièces que personne, pas même l’équipe, n’avait entendues auparavant. L’entreprise a aussi ouvert un outil Web pour que tout le monde puisse essayer MuseNet jusqu’au 12 mai.

## Ce qu’est MuseNet

MuseNet est un **réseau de neurones**, un programme qui apprend des régularités à partir d’exemples au lieu de suivre des règles écrites à la main. Personne ne lui a enseigné la théorie musicale. Il a appris l’harmonie, le rythme et le style par lui-même en étudiant une très vaste collection de **fichiers MIDI**. Un fichier MIDI ne contient pas de son enregistré; il contient des instructions, comme une partition numérique : quelle note jouer, sur quel instrument, à quel volume et pendant combien de temps.

La responsable du projet est Christine Payne, une pianiste de formation classique de l’équipe d’OpenAI. Elle a dit à TechCrunch être particulièrement contente que MuseNet semble maîtriser les harmonies complexes de Beethoven et de Chopin, et qu’elle travaille déjà avec un compositeur qui compte l’utiliser dans ses propres pièces.

## Comment ça fonctionne

MuseNet utilise la même technologie de base que GPT-2, le modèle de texte annoncé par OpenAI en février. C’est un **Transformer**, une architecture de réseau construite autour de l’**attention**, qui permet au modèle d’évaluer quelles parties antérieures d’une séquence comptent le plus pour prédire la suite. GPT-2 prédit le mot suivant d’un texte; MuseNet prédit le **jeton** suivant d’une pièce musicale.

Pour que la musique ressemble à du texte, OpenAI a transformé chaque fichier MIDI en une séquence de jetons. Après avoir testé plusieurs encodages, l’équipe a retenu des jetons qui regroupent chacun trois informations : la hauteur, le volume et l’instrument. D’autres jetons marquent l’écoulement du temps. Un court passage, sous forme simplifiée, ressemble à ceci :

| Jeton (simplifié) | Sens |
|---|---|
| bach | Jeton de style : écrire comme Bach |
| `piano:v72:G4` | Commencer une note de piano, sol de la quatrième octave, au volume 72 |
| `violin:v80:G4` | Commencer une note de violon à la même hauteur, un peu plus fort |
| `wait:12` | Laisser passer du temps avant l’événement suivant |
| `piano:v0:G4` | Volume 0 : arrêter cette note de piano |

Les jetons de style et d’instrument servent de volant. Pendant l’entraînement, OpenAI plaçait un jeton de compositeur ou de groupe et une liste d’instruments au début de chaque pièce, pour que le modèle apprenne comment ils façonnent les notes qui suivent. Quand vous demandez « Rachmaninov au piano », vous commencez la séquence avec ces jetons et laissez MuseNet prédire la suite.

Le modèle est gros : 72 couches avec 24 têtes d’attention, capables de prêter attention à 4 096 jetons à la fois. Cette longue mémoire correspond à environ quatre minutes de musique, ce qui explique que MuseNet puisse garder la structure d’ensemble d’une pièce, comme revenir à un thème ou mener vers une finale, au lieu de seulement enfiler de jolies notes. Il emprunte des techniques aux récents travaux d’OpenAI sur le Sparse Transformer pour rendre l’entraînement sur d’aussi longues séquences réalisable.

## D’où vient la musique

OpenAI dit avoir recueilli des données d’entraînement de nombreuses sources. ClassicalArchives et BitMidi ont fait don de leurs grandes collections MIDI, l’équipe a trouvé en ligne des collections couvrant le jazz, la pop et des styles africains, indiens et arabes, et elle a aussi puisé dans un jeu de données appelé MAESTRO. Pour tirer davantage des données, l’équipe a transposé les pièces vers le haut et vers le bas, fait légèrement varier leur volume et leur rythme, et entraîné un « critique » interne qui juge si un passage provient du jeu de données ou du modèle lui-même. Ce critique aide à choisir de meilleurs échantillons.

> **À essayer :** ouvrez l’outil MuseNet pendant qu’il est en ligne, choisissez un compositeur que vous connaissez bien et générez trois pièces à partir du même début célèbre. Écoutez ce qui reste pareil et ce qui change. Associez ensuite ce compositeur à un ensemble d’instruments inhabituel et remarquez à quel moment la musique commence à sonner moins naturelle.

## Ce qu’on en dit

La musique générée par ordinateur n’est pas nouvelle; elle existe depuis des décennies. Ce qui frappe TechCrunch, c’est la souplesse de MuseNet : un seul modèle gère de nombreux genres et peut les combiner, alors que bien des systèmes antérieurs se concentrent sur un seul compositeur ou un seul style. Le critique est moins impressionné par les sons de synthétiseur assez ordinaires utilisés pour l’écoute, et trouve les résultats les plus forts en jazz et en improvisation classique, où une fausse note se pardonne plus facilement.

OpenAI est franche au sujet des limites. Les instruments que vous choisissez sont de fortes suggestions, pas des garanties : le modèle calcule des probabilités sur toutes les notes et tous les instruments et peut tout de même choisir autre chose. Il a aussi du mal avec les associations inhabituelles, comme du Chopin joué par une basse et une batterie.

## Comment essayer MuseNet, et à quoi sert-il?

Le prototype de cocompositeur est intégré à l’annonce de MuseNet d’OpenAI et reste accessible jusqu’au 12 mai 2019. En mode simple, vous choisissez un compositeur ou un style et, si vous le voulez, le début d’une pièce connue, et vous entendez des échantillons générés à l’avance qui n’ont pas été triés sur le volet. En mode avancé, vous interagissez directement avec le modèle; c’est plus long, mais vous créez une pièce entièrement nouvelle. OpenAI invite les gens à partager les pièces qu’ils aiment et dit qu’elle décidera des prochaines étapes après l’essai, en fonction des commentaires. Selon TechCrunch, au moins une partie du projet devrait être publiée en code source ouvert dans les prochaines semaines.

Quant aux usages, il est tôt. Les plus évidents sont créatifs : esquisser des idées, trouver une suite inattendue à une mélodie ou entendre un air arrangé dans un autre style. Les musiciens pourraient le traiter comme un partenaire de remue-méninges plutôt que comme un compositeur accompli. OpenAI voit aussi la musique comme un banc d’essai utile pour ses recherches, parce qu’elle se situe entre le texte et l’image, et qu’une personne qui écoute entend facilement quand un modèle perd le rythme ou la structure d’une pièce.

## Sources

- MuseNet: https://web.archive.org/web/20190427000945/https://openai.com/blog/musenet/
- MuseNet generates original songs in seconds, from Bollywood to Bach (or both): https://techcrunch.com/2019/04/25/musenet-generates-original-songs-in-seconds-from-bollywood-to-bach-or-both/