Validador de Robots.txt
Valida y prueba archivos robots.txt contra URLs y user-agents específicos. Verifica si una URL está permitida o bloqueada. Gratis, 100% en tu navegador.
Referencia
¿Qué es robots.txt?
El archivo robots.txt es un estándar que indica a los rastreadores web qué páginas o secciones de un sitio pueden o no pueden rastrear. Se coloca en la raíz del sitio y es respetado por los principales motores de búsqueda.
Directivas
User-agent — especifica el bot al que aplica la regla. Disallow — bloquea el rastreo de una ruta. Allow — permite el rastreo de una ruta específica. Sitemap — indica la ubicación del mapa del sitio. Crawl-delay — sugiere un retraso entre solicitudes.
Casos de uso
SEO — verificar que páginas importantes no estén bloqueadas. Desarrollo — probar robots.txt antes de publicar. Auditoría — comprobar reglas para bots específicos. Depuración — diagnosticar problemas de indexación.
Privacidad
Todo el procesamiento se ejecuta 100% en tu navegador. No se envían datos a ningún servidor.