Comment entraîner un style d’image et une reconnaissance de la parole sur votre propre machine?

Les images et le son semblent loin du texte, mais les idées de cette série s’y appliquent : des poids gelés avec un petit adaptateur, des tests sur ce qui a été mis de côté et une mesure distincte pour ce qui ne doit pas changer. Cet article compte deux projets, tous deux exécutés sur un Apple M5 Max (PyTorch 2.15, Transformers 5.22). Les durées ci-dessous incluent d’autres travaux en cours sur la machine et sont donc élevées. Aucune carte NVIDIA n’a été testée, et aucun des projets n’utilise les images ou les voix de vraies personnes.

Projet A : enseigner un nouveau style à un petit modèle d’images

Un modèle de diffusion apprend à prédire le bruit ajouté à une image, puis crée des images en retirant le bruit étape par étape. Les modèles d’images de taille normale exigent des gigaoctets. Pour rester accessible, 12a_image_style.py dessine ses propres images de 32 pixels sur 32 : un cercle ou un carré, dans le style A (taches bleues douces sur fond pâle) ou le style B (hachures orange et noires sur fond sombre). Il construit un réseau de 597 571 paramètres, à qui l’on indique la forme à dessiner.

Le modèle de base s’entraîne sur 4 000 images du style A seulement. Il rencontre ensuite 30 images du style B, grâce à un adaptateur sur ses couches de convolution :

class LoRAConv(nn.Module):
    """Une convolution gelée et une petite correction entraînable."""
    def __init__(self, conv, rank=4):
        super().__init__()
        self.conv = conv
        for p in conv.parameters():
            p.requires_grad_(False)
        self.down = nn.Conv2d(conv.in_channels, rank, conv.kernel_size, conv.stride, conv.padding, bias=False)
        self.up = nn.Conv2d(rank, conv.out_channels, 1, bias=False)
        nn.init.normal_(self.down.weight, std=0.02)
        nn.init.zeros_(self.up.weight)     # commence par « aucun changement »

    def forward(self, x):
        return self.conv(x) + self.up(self.down(x))

C’est l’idée de LoRA appliquée aux images. Mettre up à zéro signifie que le modèle adapté commence identique à la base.

Comment noter une image sans qu’une personne en regarde 200? Le script entraîne deux petits juges : l’un nomme le style, l’autre la forme. Vérifiés sur de vrais dessins, le juge du style a obtenu 100 % sur les deux styles, et celui de la forme, 100 % et 99,7 %. Le script demande ensuite un mélange de formes et juge 200 échantillons par modèle.

Le hasard pour la forme se situe à 50 %. Le style s’est donc déplacé complètement dans tous les cas, et c’est le contenu qui a souffert, la version image du projet dix. Mesurer le style seul aurait annoncé un succès total.

Le second constat est moins flatteur pour les adaptateurs. Sur ce problème jouet, ils n’ont donné aucun avantage de qualité. Un modèle à partir de zéro sur les mêmes 30 images a fait aussi bien, parce que la tâche est très simple. Ce qu’un adaptateur vous donne à coup sûr, c’est la taille : le rang 4 représente environ 5 % du modèle et s’active ou se désactive à volonté. Sur de vrais modèles d’images, entraînés sur des données bien plus riches, l’argument pour les réutiliser est beaucoup plus fort, mais ce projet ne l’a pas testé. Les explications pour exécuter Stable Diffusion peuvent vous y mener, avec leurs propres exigences matérielles et leur licence.

Projet B : enseigner la reconnaissance et tester sur des inconnus

Le son vient de la commande say de macOS, et le script fonctionne donc sur un Mac. Sous Linux et Windows, il faudrait un autre générateur de voix, ce qui n’a pas été testé. Il y a 27 voix anglaises, 12 mots de commande comme « open » et « cancel » et trois vitesses d’élocution : 972 extraits. Chacun devient un spectrogramme de Mel, une image de l’énergie du son dans le temps, passée à un petit réseau de 24 300 paramètres. L’entraînement a pris environ 7 secondes. Ce genre de tâche, repérer un nombre limité de mots, est la raison d’être du jeu Speech Commands, dont les auteurs soutiennent qu’elle exige ses propres données plutôt que des enregistrements de phrases.

La chute de 14 points entre les deux premières lignes est encore une fuite : un partage aléatoire permet au modèle de reconnaître la voix. La dernière ligne montre quoi recueillir : plus de locuteurs, même avec peu d’extraits de chacun. Ce sont des voix synthétiques; attendez-vous à ce que de vrais micros, de vraies pièces et de vrais accents soient plus difficiles.

La reconnaissance de phrases est un travail trop gros pour partir de rien ici, et la seconde partie adapte donc un modèle tout prêt. Whisper tiny.en trébuche sur les noms qu’il n’a jamais entendus. Le script en utilise six, inventés, comme Zorvane et Kelmora. Seul le décodeur, la partie qui écrit les mots, a été entraîné (29,6 millions de paramètres) : 300 étapes, 323 secondes, à partir de 576 extraits de 12 voix. Le test utilise d’autres phrases et d’autres voix.

Le taux d’erreur par mot compte les mots remplacés, ajoutés ou omis, par mot prononcé. Le gain sur les noms est grand et le coût paraît à la dernière ligne. Le modèle a empiré sur la parole de tous les jours. Une sortie après l’entraînement donnait « Our partner Zorvane launched the Quillby » pour « Our partner Zorvane wants a quote » : les noms d’entraînement apparaissaient là où ils n’ont pas leur place. Si vous n’aviez testé que les noms, vous auriez livré cela. Avant d’entraîner, essayez les options moins coûteuses de Whisper, comme un plus gros modèle ou le fait de lui donner d’avance les noms difficiles.

Quelles images et quelles voix avez-vous le droit d’utiliser pour l’entraînement?

Rien ici n’a utilisé le visage, l’art ou la voix d’une vraie personne, ce qui a simplifié le projet. Le vôtre ne sera peut-être pas aussi simple. Ceci est de l’information générale et non un avis juridique.

Une voix ou un visage peut identifier une personne : traitez ces enregistrements comme des renseignements personnels sensibles. Au Québec, les données biométriques ont leurs propres règles, alors vérifiez auprès de la personne responsable de la protection des renseignements personnels avant d’en recueillir. Vérifiez aussi la licence du modèle de base, parce qu’elle suit votre adaptateur. Les extraits générés ici restent sur votre disque et ne sont pas publiés comme jeu de données.