Outil gratuit
Générateur de robots.txt
Configurez les règles d'accès pour les moteurs de recherche et générez un fichier robots.txt prêt à copier.
Googlebot ignore le crawl-delay. Utile pour Bingbot et d'autres crawlers sur les petits serveurs.
FAQ
Questions fréquentes sur le robots.txt.
Où placer le fichier robots.txt ?
Le fichier doit être placé à la racine de votre site web, accessible à l'adresse votresite.com/robots.txt. Sur WordPress, vous pouvez utiliser un plugin SEO comme Yoast pour le gérer.
Faut-il bloquer les crawlers IA (GPTBot, Google-Extended) ?
Ça dépend de votre stratégie. Les bloquer empêche ChatGPT et Gemini d'utiliser votre contenu pour entraîner leurs modèles. Mais ça peut aussi réduire votre visibilité dans les réponses IA. Notre recommandation par défaut les bloque.
Le robots.txt empêche-t-il l'indexation ?
Non. Le robots.txt contrôle le crawl, pas l'indexation. Pour empêcher l'indexation d'une page, utilisez la balise meta robots avec "noindex". Le robots.txt empêche les crawlers d'accéder à certaines pages, mais Google peut quand même les indexer si elles sont liées depuis d'autres sites.
Optimisation complète
Besoin d'optimiser tout votre site ?
Nos prestations SEO incluent la configuration technique complète de votre site.