Aller au contenu

Générateur de robots.txt

Écrivez le robots.txt de votre site, robots d'IA compris

Le fichier robots.txt, posé à la racine d'un site, indique aux robots des moteurs de recherche les pages qu'ils ne doivent pas explorer : un espace d'administration, un panier, des pages de résultats de recherche interne. Cet outil l'écrit à partir de vos réglages : chemins interdits, exceptions autorisées, adresse du sitemap. Une case ajoute les robots qui collectent des pages pour entraîner des intelligences artificielles, pour ceux qui préfèrent ne pas y contribuer. Une autre interdit tout le site pendant sa construction. Il reste à télécharger le fichier et à le déposer sur votre hébergement.

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /panier/
Disallow: /*?recherche=

Sitemap: https://www.exemple.fr/sitemap.xml

Le fichier se dépose à la racine du site (https://www.exemple.fr/robots.txt). Il demande aux robots de ne pas explorer : il ne cache rien, ne protège rien, et ne retire pas une page déjà connue de Google.

Questions fréquentes

Un robots.txt empêche-t-il une page d'apparaître dans Google ?

Pas toujours. Il interdit l'exploration, pas l'indexation : une page bloquée mais citée par d'autres sites peut apparaître dans les résultats, sans description. Pour retirer une page de Google, il faut au contraire la laisser explorable et y ajouter une balise noindex. Le robots.txt ne protège rien non plus : il est public, et un robot malveillant l'ignore.

Quels robots d'IA l'outil bloque-t-il ?

Ceux qui collectent des pages pour entraîner des modèles, sous leur nom déclaré : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), Applebot-Extended, CCBot (Common Crawl), meta-externalagent (Meta) et Bytespider (ByteDance). Les robots de Google Search et de Bing ne sont pas touchés. La liste évolue : vérifiez-la avant de publier.

Comment vérifier le fichier une fois en ligne ?

Ouvrez l'adresse de votre site suivie de /robots.txt dans un navigateur : le fichier doit s'afficher tel que vous l'avez téléchargé. La Search Console de Google indique ensuite, dans ses paramètres, la version qu'elle a lue et les erreurs éventuelles.

Un résultat qui vous paraît faux, une valeur périmée, un cas qui manque ? Signalez-le à contact@topapps.fr

Autres outils Développement

Tous les outils Développement (49)