Bloquer les robots IA ou les laisser passer : la décision tient en trois questions
Bloquer les robots IA en bloc est rarement la bonne réponse : les robots qui alimentent l’entraînement des modèles, ceux qui citent votre site avec un lien et ceux qui agissent pour un utilisateur n’ont ni le même effet sur votre visibilité, ni le même comportement face à vos règles.
- Entraînement (GPTBot, ClaudeBot, CCBot, meta-externalagent, jetons Google-Extended et Applebot-Extended) : le contenu sert à construire les modèles. Aucun lien, aucun visiteur en retour.
- Recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : le contenu est indexé pour être cité, avec un lien, dans ChatGPT, Claude ou Perplexity. Bloquer revient à sortir de ces résultats.
- Agent utilisateur (ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher) : une personne a posé une question, l’assistant lit la page à sa place. Les éditeurs préviennent que robots.txt peut ne pas s’appliquer.
Avant de toucher à un fichier, répondez par écrit à trois questions :
- Visibilité : voulez-vous être cité dans les réponses des assistants ? Pour un site qui vend ou informe, presque toujours oui pour la famille « recherche ».
- Charge : que coûtent ces robots en processeur et en processus PHP ? La section sur les journaux Plesk donne la mesure.
- Réutilisation : acceptez-vous que vos textes servent à l’entraînement ? Pour des articles, fiches techniques ou documentations, beaucoup d’éditeurs disent non ; pour une vitrine de dix pages, l’enjeu est faible.
Le guide sur les bonnes pratiques de sécurité d’un hébergement NovaHoster rappelle qui doit avoir la main sur ces fichiers, souvent déjà modifiés par une agence SEO.
Qui sont GPTBot, ClaudeBot, PerplexityBot, Google-Extended et les autres robots IA ?
Noms exacts publiés par chaque éditeur, lus le 22 novembre 2026 ; écrivez-les tels quels.
| Nom (User-Agent) | Éditeur | Rôle déclaré | Respecte robots.txt ? |
|---|---|---|---|
GPTBot | OpenAI | Entraînement des modèles | Oui : le refus signifie « contenu non utilisable pour l’entraînement » |
OAI-SearchBot | OpenAI | Recherche : affichage du site dans les réponses de recherche de ChatGPT | Oui, environ 24 h de délai |
ChatGPT-User | OpenAI | Agent : visite une page à la demande d’un utilisateur ; pas d’exploration automatique | Pas forcément, selon OpenAI |
ClaudeBot | Anthropic | Entraînement : collecte de contenu pouvant y contribuer | Oui ; accepte Crawl-delay |
Claude-SearchBot | Anthropic | Recherche : pertinence des résultats de Claude | Oui, selon la règle générale annoncée par Anthropic |
Claude-User | Anthropic | Agent : lit une page quand un utilisateur de Claude pose une question | Déclaré respecté par Anthropic |
PerplexityBot | Perplexity | Recherche : cite le site dans les résultats ; pas d’entraînement | Oui, Perplexity recommande de l’autoriser |
Perplexity-User | Perplexity | Agent : lit une page pour répondre à une question | Non : Perplexity écrit qu’il l’ignore en général ; blocage par pare-feu |
Google-Extended | Jeton : entraînement de Gemini et ancrage dans Gemini et Vertex AI | Oui, mais ce n’est pas un robot : Googlebot explore. Aucun effet sur l’inclusion ni le classement dans Google Search | |
CCBot | Common Crawl | Archive ouverte du web, réutilisée par des équipes d’IA | Oui, blocage documenté |
Bytespider | ByteDance | Exploration pour les produits ByteDance | Non documenté par l’éditeur ; traitez-le côté serveur s’il apparaît dans vos journaux |
Applebot-Extended | Apple | Jeton : entraînement des modèles d’Apple ; c’est Applebot qui explore | Oui |
meta-externalagent | Meta | Entraînement et indexation pour les produits Meta | Oui, jusqu’à 24 h de délai |
meta-externalfetcher | Meta | Agent : récupère un lien à la demande d’un utilisateur | Pas forcément, selon Meta |
Un nom cité dans robots.txt n’agit que sur le robot qui le porte : refuser GPTBot ne touche ni OAI-SearchBot ni ChatGPT-User. Les jetons Google-Extended et Applebot-Extended n’apparaissent jamais dans vos journaux : ils qualifient l’usage de pages déjà explorées par Googlebot ou Applebot.
Comment bloquer GPTBot, ClaudeBot et CCBot dans robots.txt : syntaxe exacte, un bloc par usage
Le fichier robots.txt se place à la racine de l’hôte (https://www.exemple.fr/robots.txt), un par nom d’hôte, sous-domaines compris. Il se lit par groupes : une ou plusieurs lignes User-agent, puis des lignes Disallow et Allow. Les chemins sont sensibles à la casse. Le fichier ci-dessous applique le choix le plus courant pour une PME : moteurs classiques et recherche IA autorisés, entraînement refusé.
# www.exemple.fr — révisé le 22/11/2026
# Googlebot et Bingbot suivent le groupe * ci-dessous
# Recherche IA (citation avec lien)
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Entraînement des modèles
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
Disallow: /
# Tous les autres
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.exemple.fr/sitemap.xml
Pour ne refuser qu’une partie du site, remplacez Disallow: / par les chemins concernés. Anthropic documente aussi Crawl-delay: 1 pour ralentir ClaudeBot.
Déposer ou modifier robots.txt dans Plesk
- Ouvrez Plesk › Sites et domaines, cliquez sur le domaine, puis sur Gestionnaire de fichiers.
- Placez-vous dans le dossier racine, en général
httpdocs. S’il existe déjà unrobots.txt, copiez son contenu avant toute modification. - Sinon, Nouveau › Créer un fichier, nom
robots.txt; collez le contenu ci-dessus adapté à votre domaine, adresse du sitemap comprise. - Enregistrez, puis ouvrez
https://www.exemple.fr/robots.txtdans un navigateur privé. Résultat attendu : texte brut, sans page HTML autour, sans redirection, code 200. - Google Search Console, Paramètres › robots.txt, affiche la version lue par Google. Comptez jusqu’à 24 heures pour OpenAI et Meta.
Ce que robots.txt ne fait pas
- Il n’empêche rien : c’est une déclaration que le robot choisit d’honorer. Un robot sous un faux nom passe.
- Les agents « utilisateur » (
ChatGPT-User,Perplexity-User,meta-externalfetcher) sont annoncés par leurs éditeurs comme pouvant l’ignorer. - Un groupe nommé retire le robot du groupe
*: si vous citezGooglebotdans son propre groupe, les règles du groupe*ne s’appliquent plus à lui. Recopiez-y ce qui doit rester interdit. - Le fichier doit répondre en HTTP 200 et en texte : une règle
.htaccesstrop large ou une page de maintenance le rendent illisible, et chaque robot applique alors son comportement par défaut.
Que faire quand robots.txt ne suffit pas : .htaccess, ModSecurity, Imunify360 et Cloudflare
Dès qu’un robot ignore la déclaration ou que sa charge devient visible, la règle doit passer côté serveur, où elle s’impose.
Blocage par User-Agent dans .htaccess (Apache, hébergement Plesk)
Ce bloc, placé en tête du .htaccess de la racine, avant les règles de WordPress ou PrestaShop, renvoie une erreur 403 aux agents listés et laisse robots.txt lisible.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent) [NC]
RewriteRule ^ - [F,L]
</IfModule>
Vérification depuis votre poste : curl -A "GPTBot" -I https://www.exemple.fr/ doit renvoyer 403, et la même commande sans -A un 200.
Limite propre à Plesk : si « Servir les fichiers statiques directement par nginx » est actif dans Sites et domaines › Paramètres Apache & nginx (si votre abonnement affiche cet écran), images, CSS et JS échappent à ce blocage ; les pages HTML et PHP sont protégées.
ModSecurity sur un serveur VPS ou dédié avec Plesk
Sur votre propre serveur, Plesk › Outils et paramètres › Pare-feu d’applications web (ModSecurity), champ des directives personnalisées, accepte une règle valable pour tous les domaines :
SecRule REQUEST_HEADERS:User-Agent "@rx (?i)(GPTBot|ClaudeBot|CCBot|Bytespider)" \
"id:10100,phase:1,deny,status:403,log,msg:'Robot IA bloque'"
Passez d’abord 24 heures en mode Détection seule et lisez /var/log/modsec_audit.log pour voir ce que la règle attraperait, puis basculez sur Activé. Après enregistrement, vérifiez que tous les sites répondent ; une directive refusée par ModSecurity empêche Apache de redémarrer.
Imunify360 sur l’hébergement mutualisé
Sur un hébergement mutualisé, WordPress ou e-commerce NovaHoster, Imunify360 est administré côté serveur : ses listes de blocage et ses règles ModSecurity ne s’éditent pas depuis votre Plesk. Il est conçu contre les comportements d’attaque (intrusions, injections, scans) ; ne comptez pas sur lui pour appliquer votre politique vis-à-vis d’un robot déclaré, et signalez par ticket un robot légitime qu’il bloquerait. Le guide pour détecter et traiter un malware avec Imunify360 décrit ce que vous voyez de l’outil dans Plesk.
Cloudflare : politiques par comportement, AI Crawl Control, Pay Per Crawl
Si le domaine est sur Cloudflare avec le proxy actif (nuage orange), le blocage se fait avant d’atteindre l’hébergement, sans consommer vos ressources. Cloudflare classe les robots IA par comportement : Search, Agent, Training.
- Ouvrez le domaine, puis Security › Settings, filtrez sur Bot traffic et ouvrez AI Crawler and Agent access policies.
- Réglez chaque ligne : Search sur Allow, Agents selon votre choix, Training sur Block, Block on pages with ads, ou Disallow (robots.txt géré par Cloudflare, converti en blocage en bordure si Bot Preference Sync est activé). Pour un nouveau domaine, les trois politiques Search, Agents et Training sont sur Allow ; seules les politiques Personal Agents se règlent pendant l’ajout du domaine. Vérifiez donc ces trois lignes après l’activation du proxy.
- Pour agir robot par robot, ouvrez AI Crawl Control (tous les plans), onglet Security : chaque robot listé reçoit Allow ou Block (Charge n’apparaît qu’avec la bêta Pay Per Crawl). Sur le plan gratuit, la reconnaissance se fait par User-Agent ; un robot usurpé passe donc. Le suivi de robots.txt montre quels robots passent outre votre fichier.
Pay Per Crawl est en bêta fermée (inscription auprès de Cloudflare) : réponse HTTP 402 avec un prix, l’exploitant du robot paie l’accès et Cloudflare encaisse pour vous (Merchant of Record). Le guide pour gérer la zone DNS de son domaine NovaHoster sur Cloudflare explique l’activation du proxy et ses contraintes pour le mail.
Comment mesurer la charge réelle des robots IA dans les journaux Plesk et les statistiques LVE ?
La décision de bloquer pour cause de charge se prend sur vos propres journaux. Chaque domaine Plesk a deux journaux d’accès utiles : proxy_access_ssl_log (nginx, toutes les requêtes HTTPS, fichiers statiques compris) et access_ssl_log (Apache, les requêtes transmises à PHP).
- Ouvrez Plesk › Sites et domaines › Journaux. Le navigateur de journaux affiche les lignes en temps réel ; son filtre accepte un nom de robot, par exemple
ClaudeBot. - Pour compter, téléchargez le fichier depuis le navigateur de journaux ou via Gestionnaire de fichiers › dossier
logs. Les commandes ci-dessous tournent sur votre poste ou en SSH si votre pack l’autorise. - Notez pour chaque robot : requêtes par jour, heures de pointe, URL les plus demandées.
# Requêtes par robot
awk -F'"' '{print $6}' proxy_access_ssl_log \
| grep -oiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|PerplexityBot|Perplexity-User|CCBot|Bytespider|meta-externalagent|Googlebot" \
| sort | uniq -c | sort -rn
Le champ 6 du format combiné est le User-Agent.
# Répartition par heure pour un robot
grep -i "ClaudeBot" proxy_access_ssl_log | awk '{print $4}' | cut -d: -f2 | sort | uniq -c
Le champ 4 est l’horodatage.
# URL les plus demandées par un robot
grep -i "GPTBot" proxy_access_ssl_log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Lecture. Quelques centaines de pages par jour, étalées, ne justifient aucun blocage. Des milliers d’URL en une heure, surtout des pages de filtres, de recherche interne ou de panier (?orderby=, ?s=, /cart/), consomment des processus PHP pour rien : commencez par un Disallow ciblé sur ces chemins, puis mesurez à nouveau 48 heures plus tard.
Croisez ensuite avec les ressources du compte. Dans Plesk › Statistiques › Utilisation des ressources, les courbes CPU, mémoire et processus entrants de CloudLinux LVE affichent la limite et le nombre de « faults », les moments où elle a été atteinte. Si les faults coïncident avec les heures de pointe d’un robot, la cause est établie. Le guide sur les ressources garanties d’un hébergement mutualisé, CPU, RAM et processus détaille la lecture de ces courbes.
Pour une application Laravel ou Node.js, la méthode pour lire les logs et diagnostiquer une application en production complète ces commandes. Un robot qui usurpe un nom connu, détectable avec les listes d’IP publiées par OpenAI, Anthropic, Perplexity et Common Crawl, se bloque par IP ; un scanner déguisé en navigateur relève d’Imunify360.
Bloquer les robots IA pénalise-t-il le référencement ? AI Overviews, Google-Extended, llms.txt
D’après les documentations officielles, vérifiées le 22 novembre 2026 :
- Les AI Overviews et le mode IA de Google ne se bloquent pas séparément. Google les décrit comme des fonctionnalités de la recherche : l’accès se règle avec Googlebot, l’affichage avec
nosnippet,data-nosnippet,max-snippetounoindex. En sortir revient à réduire sa présence dans Google Search, extraits compris. La prise en compte d’un nouveau contrôle demande de quelques jours à plusieurs mois. - Google-Extended ne concerne que Gemini. Le jeton décide si le contenu exploré peut entraîner les modèles Gemini et ancrer leurs réponses dans Gemini et Vertex AI. Google écrit qu’il n’a aucun effet sur l’inclusion dans Google Search ni comme signal de classement.
- llms.txt n’est pas demandé par Google. Sa page sur les fonctionnalités IA indique qu’aucun nouveau fichier lisible par machine, fichier texte « IA » ou balisage n’est nécessaire pour y apparaître.
- Bloquer un robot de recherche IA vous retire des réponses correspondantes. OpenAI écrit qu’un site refusant OAI-SearchBot n’est plus montré dans les réponses de recherche de ChatGPT, sauf comme simple lien de navigation ; Anthropic et Perplexity annoncent une baisse de visibilité comparable ; Perplexity recommande d’autoriser PerplexityBot pour rester dans ses résultats. Ces robots citent la source avec un lien : un trafic à surveiller plutôt qu’à couper.
- Bloquer l’entraînement n’a pas d’effet documenté sur la recherche, tant que vos groupes
robots.txtne mélangent pas les noms.
Avant de bloquer, prenez un point de référence : positions, pages indexées, trafic de référence venant de chatgpt.com, perplexity.ai ou claude.ai dans votre outil d’analyse. Les outils SEO Zerkado, audit et suivi de positions servent à conserver cette référence et à comparer quatre à six semaines après le changement ; si ce trafic baisse, le retour arrière tient en une ligne.
Quel réglage pour un site vitrine, un média, une boutique ou un SaaS ? Tableau de décision
Un point de départ par type de site, à ajuster avec vos chiffres de journaux et votre position sur la réutilisation du contenu.
| Type de site | Recherche IA | Entraînement | Agents utilisateur | Où agir |
|---|---|---|---|---|
| Vitrine PME, artisan, cabinet | Autoriser : les assistants peuvent citer votre entreprise avec un lien | Indifférent ; refuser si vous publiez des contenus de fond | Autoriser : ce sont vos prospects qui lisent | robots.txt seul |
| Média, blog expert, formation | Autoriser, et surveiller le trafic de référence | Refuser, doublé d’un blocage serveur ou Cloudflare : le contenu est l’actif | Au choix ; Perplexity-User ignore robots.txt, donc décision côté serveur | robots.txt + .htaccess ou Cloudflare, mesure mensuelle |
| Boutique WooCommerce ou PrestaShop | Autoriser pour les fiches produit ; filtres, recherche, panier et compte interdits à tous | Refuser : aucun bénéfice, et un grand catalogue coûte cher à explorer | Autoriser : un acheteur compare les prix via un assistant | robots.txt ciblé + mesure LVE ; Cloudflare si la charge persiste |
| SaaS, documentation, API | Autoriser la documentation publique : elle peut être citée avec un lien | Choix d’entreprise ; souvent autorisé pour la documentation, refusé pour le blog et les tarifs | Autoriser : vos utilisateurs lisent la doc via leur assistant | robots.txt par chemin + règle serveur |
Site WordPress : fichier réel ou robots.txt virtuel
Sans fichier physique, WordPress génère un robots.txt virtuel minimal. Un fichier réel déposé dans httpdocs prend le dessus : c’est la méthode la plus simple sur Plesk. Les extensions SEO courantes proposent aussi un éditeur ; vérifiez ensuite que l’URL publique renvoie bien votre version.
Sur l’hébergement WordPress NovaHoster, le cache serveur absorbe la lecture répétée des pages par les robots de recherche, mais pas les pages non mises en cache (panier, recherche interne) : c’est là que porte le Disallow.
Boutique PrestaShop
PrestaShop génère son propre fichier depuis Paramètres de la boutique › Trafic & SEO, bloc de génération de robots.txt, et le réécrit à chaque génération. Ajoutez vos groupes de robots IA après la génération et vérifiez-les après chaque montée de version. Les pages de tri, de recherche et de panier restent en Disallow pour tous : elles saturent les processus PHP en premier.
Agence ou revendeur avec des dizaines de sites
Tenez un modèle de robots.txt par type de site, versionné, et une ligne par client dans un tableur : politique retenue, date, validée par qui. La décision sur l’entraînement appartient au client : faites-la signer. Une règle .htaccess commune se déploie par Git ou par script dans chaque httpdocs.
Application sur VPS ou serveur dédié
Sur votre propre serveur, la règle ModSecurity couvre tous les domaines en une fois et les journaux se lisent en SSH sans limite. Vous portez aussi les mises à jour de ModSecurity et de ses jeux de règles, sauf si l’infogérance serveur NovaHoster couvre le serveur : monitoring, mises à jour, sécurité et incidents. La politique de blocage reste votre décision, à transmettre par écrit.
AIPREF et le jeton __usage_ai-training annoncé par Google pour 2027 : la fin des listes de robots ?
Tenir à jour une liste nominative de robots, qui s’allonge à chaque nouvel éditeur, n’est pas tenable. L’IETF a créé le groupe de travail AI Preferences (aipref) pour normaliser une autre approche : déclarer un usage autorisé ou interdit, l’entraînement par exemple, quel que soit le robot. État au 22 novembre 2026 :
- Le groupe est actif, sa charte approuvée. Deux documents sont en préparation : un vocabulaire de préférences (
draft-ietf-aipref-vocab) et une méthode pour les attacher au contenu (draft-ietf-aipref-attach) via robots.txt, des en-têtes HTTP ou une URI bien connue. Aucun RFC n’est publié. - Google annonce la prise en charge du signal de préférence d’entraînement AIPREF dans robots.txt début 2027, sous la forme
user-agent: __usage_ai-training, à côté de Google-Extended. - Anthropic précise déjà qu’une règle nommant
ClaudeBotprévaut sur le signal général : vos groupes nominatifs resteront utiles après l’arrivée du jeton.
À faire maintenant : conserver les groupes par nom, dater votre fichier, prévoir une relecture trimestrielle. Quand le jeton sera publié, un seul groupe __usage_ai-training avec Disallow: / exprimera le refus d’entraînement pour tous les robots qui l’honorent ; les groupes nominatifs serviront aux exceptions.
Ce que fait NovaHoster face aux robots IA, et ce qui reste à votre charge
Le choix de laisser passer ou de bloquer un robot appartient au propriétaire du site : l’hébergement fournit les outils de mesure et la protection de base, pas la politique éditoriale.
- Imunify360 : pare-feu applicatif et scanner de malwares au niveau du serveur, administré par NovaHoster.
- Statistiques de ressources dans Plesk : CloudLinux LVE isole chaque compte et affiche CPU, mémoire et processus dans Statistiques › Utilisation des ressources.
- Support 7j/7 par des développeurs, par livechat et tickets depuis l’Espace client. Pour une demande efficace : domaine, nom du robot, période, dix lignes de journal et capture des faults LVE.
- Infogérance pour VPS et serveurs dédiés : monitoring, mises à jour, sécurité et incidents, dès 49 € HT par mois. Le choix des robots à bloquer reste le vôtre.
Reste à votre charge la politique elle-même. Liste de contrôle avant de la valider :
- Décision écrite pour les trois familles : recherche, entraînement, agents.
- Mesure de départ prise : requêtes par robot et par jour, faults LVE sur 30 jours.
robots.txten ligne, HTTP 200, un groupe par usage ;Googlebotet les robots de recherche IA jamais dans un groupeDisallow: /.- Règle
.htaccessou Cloudflare testée aveccurl -Apour chaque nom bloqué et pour un navigateur normal. - Sur une boutique, filtres, recherche interne, panier et compte en
Disallowpour tous les robots. - Point de référence SEO conservé ; relecture à la publication du jeton AIPREF.
Questions fréquentes
Comment bloquer GPTBot et ChatGPT dans robots.txt ?
Faut-il bloquer les robots IA sur un site vitrine de PME ?
Le fichier robots.txt suffit-il pour bloquer les robots IA ?
Bloquer Google-Extended fait-il sortir mon site des AI Overviews ?
Comment savoir si les robots IA ralentissent mon site ?
Cloudflare bloque-t-il les robots IA par défaut ?
Le fichier llms.txt sert-il à contrôler les robots IA ?
Peut-on bloquer les robots IA sur un hébergement mutualisé sans accès root ?
Guides liés
Pour aller plus loin sur le même sujet, et sur ce qui l’entoure :
Sources techniques
[1] OpenAI — Overview of OpenAI Crawlers : GPTBot, OAI-SearchBot, ChatGPT-User (consulté le 22/11/2026) [2] Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? : ClaudeBot, Claude-User, Claude-SearchBot (consulté le 22/11/2026) [3] Perplexity — Perplexity Crawlers : PerplexityBot et Perplexity-User (consulté le 22/11/2026) [4] Google — Google's common crawlers : Googlebot, Google-Extended et prise en charge d’AIPREF début 2027 (consulté le 22/11/2026) [5] Google — AI features and your website : contrôles applicables aux AI Overviews et au mode IA (consulté le 22/11/2026) [6] Cloudflare — AI Crawler and Agent access policies : Search, Agents, Training, valeurs par défaut (consulté le 22/11/2026) [7] IETF — AI Preferences (aipref) Working Group : charte et jalons (consulté le 22/11/2026) [8] Meta — Web crawlers : meta-externalagent, meta-externalfetcher (consulté le 22/11/2026)
Les options visibles et les formules dépendent de votre abonnement. Faites vérifier le contexte depuis l’Espace client, sans transmettre de mot de passe.
Demander une vérification