robots.txt Validaattori
Validoi ja testaa robots.txt-tiedostosi. Tarkista URL-käyttöoikeus tietyille User-Agenteille. Direktiivien syntaksivalidointi. Ilmainen, 100 % selaimessasi.
Viite
Mikä on robots.txt?
robots.txt on tekstitiedosto sivuston juuressa, joka kertoo hakukoneroboteille ja muille indeksoijille, mitä sivuja saa tai ei saa indeksoida. Se on vakioprotokolla (Robots Exclusion Protocol), jota suuret hakukoneet noudattavat.
Direktiivit
User-agent — määrittää, mitä robottia säännöt koskevat. Allow — sallii pääsyn määritettyyn polkuun. Disallow — estää pääsyn määritettyyn polkuun. Sitemap — ilmoittaa sivukartan URL-osoitteen. * — jokerimerkki kaikille roboteille.
Käyttökohteet
SEO-optimointi — sivujen indeksoinnin hallinta hakukoneissa. Sisällön suojaus — pääsyn estäminen hallintaosioihin. Indeksoijan hallinta — bottikuorman hallinta. Virheenkorjaus — selvittäminen miksi sivuja ei indeksoida.
Tietosuoja
Kaikki käsittely tapahtuu 100 % selaimessasi. Mitään tietoja ei koskaan lähetetä palvelimelle — kaikki pysyy laitteellasi.