Wat doet een robots.txt bestand?
Het robots.txt bestand geeft aan dat een robot toegang kan krijgen tot de website. Als de site toegankelijk is voor de robot wordt dit in de eerste regel aangegeven met de code: User-agent: *.
Daarnaast wordt gebruik gemaakt van Disallow en Allow regels. Met een Disallow regel wordt de toegang tot een pagina verboden en met de Allow regel wordt juist toegang tot een pagina gegeven. De derde regel kan verwijzen naar de sitemap. Een verwijzing naar de sitemap in het robots.txt bestand is goed voor SEO.
Een voorbeeld van een robots.txt bestand van een WordPress website is:
User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.voorbeeld.nl/sitemap.xml
Met de Disallow regel wordt in dit voorbeeld aangegeven dat de inlogpagina van de WordPress website (/wp-admin/ ) niet hoeft te worden gecrawld.
Hoewel de Disallow regel in het robots.txt-bestand ervoor zorgt dat zoekmachines de content van de website niet mogen crawlen, kan het niet voorkomen dat de content helemaal niet in de zoekresultaten verschijnt. Als er veel backlinks naar de desbetreffende pagina verwijzen, kan de pagina alsnog geïndexeerd worden. Om dit te voorkomen dient er ook een no-index tag op de pagina zelf te worden geplaatst.
Voordelen robots.txt bestand
Het robots.txt bestand is niet verplicht, maar heeft wel belangrijke voordelen:
- Zoekmachines krijgen toegang tot de site bepaalde delen kun je uitsluiten
- Je kunt zorgen voor een optimaal gebruik van het zogenaamde crawlbudget
- Je kunt zoekmachines naar de sitemap leiden. Hierdoor is de content beter vindbaar en worden nieuwe pagina’s sneller geïndexeerd.
Hoe maak je een robots.txt bestand?
Het robot.txt bestand is een .txt bestand en kun je dus maken met een teksteditor. Het bestand plaats je vervolgens in de root directory van de website met “robots.txt” als bestandsnaam. Hiervoor dien je kennis te hebben van FTP. Als je een WordPress website hebt, kun je het bestand ook gemakkelijk instellen met de plugin Yoast SEO.