Robots.txt

Robots.txt is een eenvoudig tekstbestand in de root van je domein dat zoekmachine-crawlers instrueert welke delen van je site ze wel of niet mogen bezoeken.

Wat doet robots.txt?

Wanneer een crawler je site bezoekt, leest hij eerst jouwsite.be/robots.txt om te zien welke regels gelden. Met Disallow houd je bots weg van mappen of pagina’s, bijvoorbeeld interne zoekresultaten, admin-omgevingen of dubbele filterpagina’s. Zo bescherm je je crawlbudget en voorkom je dat Google tijd verspilt aan onbelangrijke URL’s. Je kunt er ook je sitemap in vermelden, zodat crawlers sneller je belangrijke pagina’s vinden.

Een belangrijk misverstand

Robots.txt blokkeert crawlen, niet indexeren. Een via robots.txt geblokkeerde pagina kan alsnog in Google verschijnen als er links naar wijzen, alleen zonder dat Google de inhoud ziet. Wil je een pagina écht uit de zoekresultaten houden, gebruik dan een meta robots tag met noindex op een pagina die wél crawlbaar is. Beide door elkaar halen is een van de meest voorkomende fouten en kan zomaar je indexering saboteren.

Robots.txt volgens Customer Impact

Een verkeerd regeltje in robots.txt kan een hele site uit Google laten verdwijnen, dus we behandelen dit bestand met zorg. Voor B2B-klanten gebruiken we het gericht om crawlers naar de pagina’s te leiden die leads en omzet opleveren en weg van ruis die niets bijdraagt. Geen vanity, gewoon een schone, doordachte basis waarop de rest van je SEO kan bouwen.