Développer · Intermédiaire
Robots d’IA et robots.txt : autoriser ou bloquer, et ce qui se passe dans chaque cas
Quelques lignes dans un fichier texte décident si les assistants IA peuvent lire votre site web. Beaucoup d’entreprises n’ont jamais regardé ces lignes, et certaines bloquent des robots sans le savoir.
Photo : Nilo Velez, domaine public (CC0)
Dans ce guide
En bref
Si vous voulez que les assistants IA nomment et citent votre entreprise, autorisez leurs robots ; si vous les bloquez, vous sortez de leurs réponses. Les robots qui collectent des données d’entraînement et ceux qui récupèrent des pages pour répondre en direct portent des noms différents ; vous pouvez donc bloquer les premiers et autoriser les seconds. Le robots.txt est une demande, pas un verrou.
Qu’est-ce que le robots.txt, et que n’est-il pas ?
C’est un fichier texte public qui adresse des demandes aux robots, et rien ne le fait respecter. Le fichier se trouve à la racine d’un site web, à l’adresse /robots.txt, et dit aux robots quelles adresses ils ne doivent pas récupérer. Les robots bien élevés le lisent d’abord et le suivent. Un robot qui l’ignore ne rencontre aucun obstacle technique.
Le robots.txt n’est donc pas un moyen de protéger des pages confidentielles : n’importe qui peut lire le fichier, et il n’empêche pas l’accès. Ce qui doit rester privé a sa place derrière une connexion.
Les robots se présentent sous un nom, appelé user agent, envoyé avec chaque requête. Les règles du robots.txt s’écrivent nom par nom.
Quels robots d’IA existe-t-il ?
Il en existe deux sortes, et la différence décide de ce que vous coûte un blocage. Certains robots collectent des pages qui peuvent servir à entraîner des modèles. D’autres récupèrent des pages pour répondre à une question que quelqu’un pose à l’instant, et ces réponses montrent votre page comme source.
| Nom dans le robots.txt | Opérateur | Usage |
|---|---|---|
| GPTBot | OpenAI | Collecte des pages qui peuvent servir à entraîner des modèles |
| OAI-SearchBot | OpenAI | Trouve des pages pour les réponses de recherche dans ChatGPT |
| ChatGPT-User | OpenAI | Récupère une page quand la demande d’un utilisateur l’exige |
| ClaudeBot | Anthropic | Collecte des pages qui peuvent servir à entraîner des modèles |
| PerplexityBot | Perplexity | Trouve des pages pour les réponses de recherche de Perplexity |
| Google-Extended | Pas un robot : un jeton qui règle l’usage pour les modèles d’IA de Google | |
| Bingbot | Microsoft | Le robot de l’index de recherche Bing |
Google-Extended est un nom que vous pouvez employer dans le robots.txt pour dire si des pages peuvent servir aux modèles d’IA de Google. Il n’a aucun effet sur la présence d’un site dans la recherche Google. Bingbot figure dans la liste parce que c’est un robot de recherche ordinaire, parfois bloqué par accident avec les autres.
La liste n’est pas complète et elle change. Les opérateurs documentent leurs robots sur leurs propres sites, et c’est là qu’il faut vérifier les noms.
À quoi ressemblent les règles ?
Une règle est une paire de lignes : un nom, puis ce que ce nom ne doit pas récupérer. Chaque ligne ci-dessous est une ligne du fichier.
Le premier exemple laisse tous les robots lire le site entier, sauf un dossier :
User-agent: *
Disallow: /internal/
Le second demande à deux robots d’entraînement d’éviter tout le site et ne change rien pour les autres, ceux qui répondent compris :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Un robot qui n’est pas nommé et ne trouve aucune règle générale peut tout lire. Un détail provoque des erreurs : un robot qui trouve un groupe à son propre nom ne suit que ce groupe et ignore le groupe général placé sous l’astérisque. Si vous ajoutez un groupe pour un robot, répétez-y les règles générales qui doivent continuer à s’appliquer à ce robot.
Faut-il autoriser ou bloquer les robots d’IA ?
Pour une entreprise qui vend quelque chose, autoriser les robots qui répondent est presque toujours le bon choix, et les robots d’entraînement sont affaire de jugement. Un assistant ne peut citer qu’une page qu’il a eu le droit de récupérer.
| Choix | Ce qui se passe | À qui il convient |
|---|---|---|
| Tout autoriser | Les pages peuvent être citées dans les réponses en direct et servir à l’entraînement | Les entreprises dont le contenu existe pour gagner des clients |
| Bloquer l’entraînement, autoriser les réponses | Les pages peuvent toujours être citées ; vous demandez à ne pas servir à l’entraînement | Les éditeurs de presse et les entreprises au contenu original coûteux |
| Tout bloquer | Vous sortez des réponses des robots qui obéissent ; le contenu déjà collecté n’est pas retiré | Les sites qui ne sont pas faits pour être trouvés |
| Bloquer des dossiers isolés | Le reste demeure visible ; les dossiers ne sont pas récupérés | Tout site ayant des zones sans intérêt pour l’extérieur |
Où se cachent les blocages ?
Ils se cachent à quatre endroits, et le robots.txt n’est que celui qui se voit. Nous avons vu des sites bloquer depuis des années, au niveau du serveur, les robots de recherche et d’IA sans que le propriétaire le sache. Une telle règle est souvent ajoutée à titre provisoire, puis oubliée.
- Le robots.txt : ouvrez-le dans un navigateur et lisez chaque ligne.
- Un pare-feu ou une extension de sécurité : beaucoup ont un interrupteur « bloquer les robots » ou une liste de noms.
- L’hébergeur : certains bloquent ou ralentissent les robots pour tous les clients d’un serveur.
- Le fichier .htaccess ou la configuration du serveur : des règles qui refusent les requêtes selon le user agent.
Comment vérifier votre propre site ?
Vous demandez une page sous le nom du robot et vous regardez le code de statut de la réponse. Un outil comme curl peut envoyer n’importe quel user agent. Par exemple :
curl -I -A “GPTBot” https://www.example.com/
- Lire le robots.txtOuvrez /robots.txt sur chaque domaine et sous-domaine que vous utilisez. Chaque hôte a son propre fichier.
- Demander une page en tant que robotEnvoyez une requête avec le nom du robot comme user agent, une fois pour chaque nom qui compte pour vous.
- Lire le code de statut200 veut dire que la page a été livrée. 403 veut dire que quelque chose a refusé la requête. Une page de vérification ou un délai dépassé veut dire qu’un filtre est intervenu.
- Comparer avec un navigateurDemandez la même page avec le user agent d’un navigateur ordinaire. Si cela marche et que le nom du robot échoue, une règle par nom bloque.
- Regarder dans les journaux du serveurCherchez les noms des robots dans le journal d’accès. De vraies visites avec le statut 200 sont la meilleure preuve.
Le test a une limite : il ne montre que les règles qui se fondent sur le nom. Un pare-feu peut aussi juger d’après l’adresse d’où vient une requête ; les journaux restent donc la vérification finale. Un blocage dans le robots.txt, à l’inverse, n’apparaît jamais dans le code de statut. Le serveur livrerait la page ; le robot choisit de ne pas la demander.
Notre façon de faire
Nous lisons le robots.txt, testons chaque hôte sous les noms des robots, et passons en revue les règles du pare-feu, de l’hébergement et du serveur avec ceux qui les gèrent. Nous retirons les blocages que personne n’a décidés, et nous notons ceux qui sont voulus, et pourquoi. Ce que les robots trouvent une fois entrés est l’objet du référencement naturel.
Certains sites publient aussi un fichier appelé llms.txt, un résumé en texte brut du site à l’intention des systèmes d’IA. C’est une convention émergente, pas une norme, et aucun opérateur ne garantit qu’il est lu. Les règles du serveur et les blocages font partie de ce que nous surveillons avec l’hébergement géré.
Les questions qu’on nous pose souvent
Vous préférez que ce soit réglé sans vous en charger ?
Dites-nous sur quoi vous travaillez. Une personne vous répond sous un jour ouvré.