robots.txt Validator
Valider og test robots.txt-filen din. Sjekk URL-tilgang for spesifikke User-Agenter. Syntaksvalidering av direktiver. Gratis, 100 % i nettleseren din.
Referanse
Hva er robots.txt?
robots.txt er en tekstfil i roten av et nettsted som forteller søkemotorbotter og andre crawlere hvilke sider som kan eller ikke kan indekseres. Det er en standardprotokoll (Robots Exclusion Protocol) som følges av store søkemotorer.
Direktiver
User-agent — angir hvilken bot reglene gjelder for. Allow — tillater tilgang til den angitte stien. Disallow — blokkerer tilgang til den angitte stien. Sitemap — angir URL-en til nettstedskartet. * — jokertegn for alle botter.
Bruksområder
SEO-optimalisering — kontroll over sideindeksering av søkemotorer. Innholdsbeskyttelse — blokkering av tilgang til administrasjonsseksjoner. Crawlerkontroll — kontroll av botbelastning. Feilsøking — sjekke hvorfor sider ikke indekseres.
Personvern
All behandling kjøres 100 % i nettleseren din. Ingen data sendes noen gang til en server — alt forblir på enheten din.