Qu’est-ce qu’une base de données vectorielle, et en avez-vous besoin?

Si vous avez essayé ce printemps de construire une application pour « clavarder avec vos documents », vous êtes tombé en quelques minutes sur l’expression base de données vectorielle. Les tutoriels associent ChatGPT à des noms comme Pinecone, Chroma et pgvector comme s’ils étaient obligatoires. Ils sont utiles, mais ils n’ont rien de magique, et bien des petits projets peuvent s’en passer complètement.

L’idée part des plongements. Un modèle de plongement transforme un morceau de texte en une longue liste de nombres, un vecteur, de sorte que des textes au sens semblable se retrouvent avec des nombres semblables. Une base de données vectorielle est un logiciel conçu pour stocker ces vecteurs et répondre vite à une seule question : quels vecteurs stockés sont les plus proches de ce nouveau vecteur?

Comment fonctionne la recherche par similarité

Les bases de données ordinaires excellent dans les correspondances exactes : trouver la commande numéro 4471, ou tous les clients au Québec. Une recherche par mots-clés trouve les documents qui contiennent les mots tapés. Chercher par le sens, c’est autre chose. Un client qui demande « Je n’arrive pas à accéder à mon compte » devrait trouver l’article d’aide intitulé « Réinitialiser votre mot de passe », même s’ils n’ont aucun mot en commun.

Voici le processus, étape par étape.

1. Découpez vos documents en morceaux, comme des paragraphes ou des articles d’aide.
2. Calculez le plongement de chaque morceau avec un modèle de plongement et stockez ensemble le vecteur, le texte original et toute étiquette (appelée métadonnée).
3. Calculez le plongement de la question avec le même modèle.
4. Comparez le vecteur de la question avec ceux qui sont stockés et renvoyez les quelques plus proches.
5. Transmettez ces morceaux à un modèle de langage comme contexte, pour qu’il réponde à partir de votre matériel. On appelle souvent ce modèle la génération augmentée par récupération (retrieval-augmented generation), ou RAG.

La proximité se mesure à l’aide d’une formule. Les choix courants sont la distance euclidienne (la distance en ligne droite), la similarité cosinus (si deux vecteurs pointent dans la même direction) et le produit scalaire.

Un exemple concret avec de tout petits vecteurs

Les vrais plongements comptent des centaines ou des milliers de nombres. Pour saisir l’idée, imaginez un plongement qui n’en compte que trois. Les vecteurs ci-dessous sont inventés pour l’illustration.

La question « Je n’arrive pas à accéder à mon compte » devient [0.9, 0.1, 0.2]. La similarité cosinus va de −1 à 1, et plus elle est élevée, plus le sens est proche. Les articles A et C arrivent en tête, ce qu’une personne aurait aussi choisi. B et D traînent loin derrière.

Avec quatre articles, comparer la question à chacun est instantané. Avec dix millions, vérifier chaque vecteur prend trop de temps; les bases de données vectorielles construisent donc un index pour la recherche approximative des plus proches voisins (approximate nearest neighbor, ANN). Un index ANN trouve des correspondances très proches sans comparer chaque élément, en acceptant une petite chance de manquer la meilleure correspondance exacte en échange d’une bien plus grande vitesse.

En avez-vous vraiment besoin?

Posez-vous trois questions.

• Combien de morceaux? Pour quelques centaines ou quelques milliers, vous pouvez garder les vecteurs dans un fichier, les charger en mémoire et les comparer tous avec une courte boucle ou une bibliothèque comme NumPy. C’est exact, gratuit et facile à examiner.
• La collection change-t-elle souvent? Si des utilisateurs ajoutent des documents toute la journée, une base de données qui gère l’ajout, la mise à jour et la suppression de vecteurs vous évite de reconstruire un fichier.
• Avez-vous besoin de filtres? Des questions comme « cherche seulement dans les manuels en français de 2022 » exigent un filtrage par métadonnées en plus de la similarité, ce que fournissent les bases de données vectorielles.

Si les trois réponses sont modestes, commencez avec un fichier. Vous pourrez passer à une base de données plus tard sans changer vos plongements, puisque les vecteurs ne sont que des nombres.

En quoi Pinecone, Chroma et pgvector diffèrent-ils?

Ils règlent le même problème par trois chemins différents.

Pinecone est un service hébergé : vous envoyez vecteurs et requêtes par une API, et Pinecone s’occupe de l’indexation, de la répartition sur plusieurs machines et des copies pour la fiabilité. Vous ne gérez aucun serveur, mais vos données sont chez un tiers et, au-delà de l’inscription gratuite, vous payez pour la capacité.

Chroma est gratuit sous licence Apache 2.0 et s’installe avec une seule commande pip install chromadb. Il peut fonctionner entièrement en mémoire pour des essais rapides. Par défaut, il calcule pour vous les plongements du texte avec un modèle Sentence Transformers, ou vous pouvez brancher les plongements d’OpenAI ou de Cohere.

pgvector ajoute un type de colonne vector à Postgres. Vous stockez les plongements à côté de vos autres données et trouvez les voisins avec une requête normale triée par distance. Il fait une recherche exacte par défaut; ajouter un index ivfflat fait passer à une recherche approximative plus rapide. Si votre application fonctionne déjà sur Postgres, c’est souvent le plus petit pas à franchir : aucun nouveau système à apprendre ni à payer.