Wat is crawl-delay? De robots.txt-regel eerlijk uitgelegd

Crawl-delay is een regel in je robots.txt-bestand die aan zoekmachines vraagt om een aantal seconden te wachten tussen twee opeenvolgende paginabezoeken. Het is bedoeld om te voorkomen dat een crawler je server overbelast door te snel achter elkaar pagina’s op te vragen. De eerlijke nuance meteen vooraan: Google negeert crawl-delay volledig, terwijl Bing en Yandex de regel wel opvolgen. In dit artikel lees je wat crawl-delay precies doet, welke zoekmachines er iets mee doen en wanneer het voor jouw B2B-site zin heeft (spoiler: bijna nooit).

Wat is crawl-delay precies?

Crawl-delay is een directive die je in je robots.txt plaatst, het tekstbestand waarmee je crawlers instructies geeft. De syntax is simpel:

User-agent: *
Crawl-delay: 10

Deze regel vraagt elke crawler die de regel respecteert om minstens tien seconden te wachten voor hij een volgende pagina opvraagt. De achterliggende gedachte: een agressieve bot die tientallen pagina’s per seconde ophaalt, kan een zwakke server tijdelijk plat leggen. Met crawl-delay knijp je dat tempo af.

Belangrijk om te weten: crawl-delay is nooit een officiele webstandaard geworden. Het is een afspraak die sommige zoekmachines wel en andere niet volgen. Daardoor werkt dezelfde regel op de ene bot heel anders dan op de andere.

Welke zoekmachines respecteren crawl-delay?

Hier zit het venijn, en precies daarom raakt crawl-delay zo vaak verkeerd ingesteld.

• Google negeert crawl-delay. Google bevestigt in zijn robots.txt-documentatie dat het de regel niet ondersteunt. Googlebot bepaalt zijn eigen crawltempo automatisch, op basis van hoe snel en foutloos je server reageert. Reageert je server traag, dan schroeft Google zelf zijn tempo terug om je site niet te overbelasten.
• Bing respecteert crawl-delay. Bingbot interpreteert de waarde als tijdvensters: bij Crawl-delay: 10 haalt Bing maximaal een pagina per venster van tien seconden op.
• Yandex respecteert crawl-delay. Yandex wacht minstens het opgegeven aantal seconden tussen twee verzoeken.

De praktische conclusie: zet je een crawl-delay om Google af te remmen, dan gebeurt er niets. Google leest de regel simpelweg niet. Wil je Googlebot sturen, dan doe je dat via je serverreactie en niet via robots.txt.

Waarom Google zijn eigen tempo kiest

Google gaat ervan uit dat het slimmer is om het crawltempo dynamisch aan te passen dan om zich aan een vast getal te houden. De logica: als je server snel en gezond reageert, mag Google gerust wat meer pagina’s per bezoek ophalen. Merkt Googlebot dat je server traag wordt of foutcodes teruggeeft, dan vertraagt het uit zichzelf. Zo beschermt Google je server zonder dat jij een cijfer hoeft in te stellen.

Dat sluit aan bij hoe crawlbudget werkt: hoe vlotter je server reageert, hoe meer pagina’s Google binnen dezelfde tijd kan ophalen en indexeren. Een crawl-delay zou dat net tegenwerken. Je zou Google (als het de regel al zou lezen) dwingen om trager te crawlen, waardoor nieuwe of aangepaste content langzamer in de index belandt. Voor een site die op zoekverkeer draait, is dat het tegenovergestelde van wat je wil.

Wanneer crawl-delay wel (of niet) telt voor B2B

We zeggen het liever eerlijk vooraf: voor de overgrote meerderheid van Belgische B2B-sites is crawl-delay overbodig. Je hebt doorgaans enkele tientallen tot enkele honderden pagina’s, geen miljoenen. Zoveel crawlverkeer dat je server erdoor bezwijkt, komt bij een normale brochuresite of kennisbank simpelweg niet voor.

Crawl-delay kan in een paar randgevallen nuttig zijn:

• Een zeer grote site op zwakke, gedeelde hosting, waar minder gerespecteerde bots (denk aan sommige SEO-tools of scrapers) je server merkbaar belasten.
• Een piek in serverload die aantoonbaar door crawlverkeer van Bing of Yandex komt.

Maar zelfs dan is crawl-delay meestal een pleister op een houten been. Het echte probleem is dan je serverkracht, niet de crawlers. Je lost dat structureel beter op met caching, een snellere hostingomgeving en het wegwerken van zware queries. Hoe dat werkt, lees je in onze uitleg over serverresponstijd verbeteren. Zo verhoog je je vindbaarheid in plaats van ze af te remmen.

Wil je agressieve of ongewenste bots echt beperken, dan werk je gerichter met blokkades op serverniveau of firewallregels dan met een crawl-delay die alleen door welwillende crawlers wordt gelezen. Onze SEO-aanpak vertrekt daarom nooit van een crawl-delay, maar van de vraag of je server je belangrijkste pagina’s snel genoeg serveert aan zowel bezoekers als crawlers.

Hoe controleer je je crawlgedrag?

In plaats van blind een crawl-delay te zetten, kijk je eerst wat er echt gebeurt. De crawlstatistieken in Google Search Console tonen hoeveel pagina’s Google per dag ophaalt en hoe je server daarop reageert. Stijgt de gemiddelde reactietijd, dan is dat een signaal om je server aan te pakken, niet om Google af te remmen. In je serverlogs zie je bovendien welke bots hoeveel verzoeken doen, zodat je precies weet of een crawler een probleem vormt of niet.

Veelgestelde vragen over crawl-delay

Werkt crawl-delay voor Google? Nee. Google negeert de crawl-delay-regel in robots.txt volledig en bepaalt zijn crawltempo automatisch op basis van je serverreactie. Wil je Googlebot sturen, dan doe je dat via je serverprestaties, niet via crawl-delay.

Welke zoekmachines respecteren crawl-delay wel? Vooral Bing en Yandex. Bing behandelt de waarde als tijdvensters, Yandex als een minimale wachttijd tussen verzoeken. Andere, kleinere crawlers houden zich er soms wel en soms niet aan.

Heb ik crawl-delay nodig voor mijn B2B-site? Bijna nooit. De meeste B2B-sites hebben te weinig pagina’s om een server te overbelasten. Je riskeert eerder dat belangrijke pagina’s trager worden opgepikt. Investeer liever in een snelle server.

Hoe stel ik crawl-delay in als ik het toch wil? Je voegt in je robots.txt onder de juiste user-agent een regel toe zoals Crawl-delay: 10. Test daarna in je serverlogs of het gewenste effect optreedt, en houd er rekening mee dat Google de regel gewoon overslaat.

Twijfel je of je robots.txt klopt?

Crawl-delay is een klein detail dat vaak verkeerd wordt ingezet om een probleem op te lossen dat elders zit. Wij kijken naar het geheel: reageert je server snel genoeg, worden je commerciele pagina’s vlot gecrawld en levert dat leads op in plaats van ruis? We zijn een klein team dat snel beweegt en je eerlijk zegt wanneer een instelling niets toevoegt. Plan je gratis intake