Validateur Robots.txt
Validez et testez des fichiers robots.txt contre des URLs et user-agents spécifiques. Vérifiez si une URL est autorisée ou bloquée. Gratuit, 100% dans votre navigateur.
Référence
Qu'est-ce que robots.txt ?
Le fichier robots.txt est un standard qui indique aux robots d'exploration quelles pages ou sections d'un site peuvent ou ne peuvent pas être explorées. Il est placé à la racine du site et respecté par les principaux moteurs de recherche.
Directives
User-agent — spécifie le bot concerné par la règle. Disallow — bloque l'exploration d'un chemin. Allow — autorise l'exploration d'un chemin spécifique. Sitemap — indique l'emplacement du plan du site. Crawl-delay — suggère un délai entre les requêtes.
Cas d'utilisation
SEO — vérifier que les pages importantes ne sont pas bloquées. Développement — tester robots.txt avant publication. Audit — vérifier les règles pour des bots spécifiques. Débogage — diagnostiquer les problèmes d'indexation.
Confidentialité
Tout le traitement s'exécute 100% dans votre navigateur. Aucune donnée n'est envoyée à un serveur.