Comment protéger le contenu de votre site Web contre les robots d’indexation de l’IA?

Un robot d’indexation (crawler) est un programme qui visite automatiquement des pages Web et enregistre ce qu’il y trouve. Les moteurs de recherche utilisent des robots d’indexation depuis des décennies. Les entreprises d’IA ont maintenant les leurs, certains pour recueillir du texte afin d’entraîner des modèles, d’autres pour aller chercher des pages qu’un assistant cite dans ses réponses. Si vous publiez des articles, des recettes, des photos ou du matériel de cours, vous pouvez décider quelle part de ce contenu ces robots reçoivent.

L’outil principal est ancien et simple : un fichier texte appelé robots.txt à la racine de votre site, comme example.com/robots.txt. Il énumère des règles pour des robots nommés. L’Internet Engineering Task Force, l’organisme qui rédige bon nombre des normes d’Internet, a officialisé ce format en 2022 sous le nom de RFC 9309. Cette norme est claire sur une limite qui façonne tout ce qui suit : les règles sont une demande que les robots sont censés respecter et, selon ses termes, « Ces règles ne constituent pas une forme d’autorisation d’accès. »

Robots d’entraînement et robots de recherche : deux décisions distinctes

L’étape la plus utile consiste à cesser de voir les « robots d’IA » comme un seul groupe. OpenAI, par exemple, documente trois agents aux tâches différentes :

OpenAI précise que chaque réglage est indépendant. Un site de nouvelles peut donc refuser l’entraînement tout en restant trouvable et cité dans la recherche de ChatGPT, que bien des éditeurs voient comme une source de lecteurs. D’autres entreprises d’IA publient les noms et les règles de leurs propres robots; consultez la documentation de chaque fournisseur pour connaître le jeton exact, c’est-à-dire le nom qu’un robot utilise pour trouver sa section dans votre fichier.

Un robots.txt concret

Voici un fichier pour un petit éditeur qui veut rester visible dans la recherche par IA, mais garder ses articles hors de l’entraînement, et qui interdit à tous les robots l’accès à son espace membres.

# Garder le contenu hors de l’entraînement des modèles d’OpenAI
User-agent: GPTBot
Disallow: /

# Autoriser le robot de recherche d’OpenAI, sauf dans l’espace membres
User-agent: OAI-SearchBot
Allow: /
Disallow: /members/

# Tous les autres robots : rester hors de l’espace membres
User-agent: *
Disallow: /members/

Comment un robot le lit : il cherche un groupe dont la ligne User-agent correspond à son propre nom, sans tenir compte des majuscules. Si rien ne correspond, il suit le groupe *. Dans un groupe, Disallow: / signifie « rien sur ce site », et un chemin comme /members/ couvre tout ce qui commence par ce chemin.

Trois détails pratiques tirés de la norme et de la documentation d’OpenAI :

• Les robots peuvent garder une copie en cache de votre fichier, mais la norme précise que ce ne doit pas être pendant plus de 24 heures. OpenAI indique que ses systèmes de recherche peuvent prendre environ une journée pour tenir compte d’un changement.
• Chaque chemin que vous énumérez est public. Écrire Disallow: /drafts/ apprend au monde entier que /drafts/ existe.
• Un robot peut se donner n’importe quel nom. OpenAI publie les plages d’adresses IP qu’utilisent ses robots, pour que votre hébergeur ou votre pare-feu puisse vérifier qu’un visiteur qui se présente comme GPTBot vient vraiment d’OpenAI.

Ce que le blocage peut et ne peut pas faire

Robots.txt peut indiquer aux robots coopératifs ce que vous voulez, et des entreprises comme OpenAI documentent la façon dont leurs robots le lisent. C’est gratuit, cela prend quelques minutes et vous pouvez le changer chaque fois que votre point de vue change.

Il ne peut pas arrêter un robot qui l’ignore, retirer du contenu recueilli avant que vous ajoutiez la règle, ni contrôler les copies de votre travail que d’autres ont republiées ailleurs. Il ne protège pas non plus les pages privées : la norme conseille d’utiliser une vraie sécurité, comme une connexion par mot de passe, pour tout ce qui doit rester fermé.

Pour faire réellement respecter vos choix, il vous faut des règles au niveau du serveur ou du réseau. Les hébergeurs et les réseaux de diffusion de contenu (des services placés devant votre site, qui le servent rapidement partout dans le monde) peuvent refuser les requêtes de robots précis, vérifier qu’un robot est bien celui qu’il prétend être et vous montrer à quelle fréquence chacun vous visite. Gardez aussi le fichier robots.txt : il documente votre intention, et cette trace peut compter si vous négociez plus tard une licence ou déposez une plainte.

Pouvez-vous leur faire payer l’accès?

Oui, par l’intermédiaire de certains services, même si ce marché reste nouveau et petit. En juillet 2025, Cloudflare, un réseau de diffusion de contenu, a annoncé pay per crawl (paiement à l’indexation) en bêta privée. Le service s’appuie sur un code d’état HTTP que les serveurs Web utilisaient rarement : 402 Payment Required (paiement requis).

L’idée fonctionne comme un poste de péage. Le propriétaire du site fixe un prix unique par requête pour tout le domaine, puis choisit, robot par robot, l’une de trois options : autoriser gratuitement, faire payer ou bloquer. Un robot qui veut une page payante indique dans sa requête combien il est prêt à payer, ou reçoit une réponse 402 qui précise le prix. S’il accepte, il obtient la page, et Cloudflare enregistre des frais, perçoit l’argent auprès du robot et le remet à l’éditeur. Pour empêcher des imposteurs de gonfler la facture de quelqu’un d’autre, les robots doivent prouver leur identité en signant chaque requête avec une clé cryptographique enregistrée à l’avance.

Deux limites sont bonnes à connaître avant de compter sur un revenu. Seuls les robots inscrits peuvent payer; pour tout autre robot, « faire payer » se comporte comme un blocage, mais signale qu’une entente est possible. Et la version de lancement offrait un seul prix fixe par site, Cloudflare elle-même précisant que des options plus riches, comme des prix différents selon les sections ou des licences distinctes pour l’entraînement et la recherche, sont des idées pour plus tard. Si vous exploitez un site aux archives précieuses, la voie pratique aujourd’hui consiste à établir des règles robots.txt claires, à les faire respecter au niveau du réseau et à demander à votre hébergeur s’il prend en charge l’indexation payante ou les licences directes.