Crawlbudget

Crawlbudget is het aantal pagina’s dat Google binnen een bepaalde periode op jouw website ophaalt en verwerkt. Het wordt bepaald door hoe snel je server reageert en hoeveel waarde Google in je site ziet. Bij kleine sites is dit zelden een probleem, maar bij grote websites bepaalt het mee welke pagina’s tijdig in de index belanden.

Waarvan hangt je crawlbudget af?

Google verdeelt zijn aandacht over miljarden pagina’s, dus het kiest waar het tijd in steekt. Twee factoren wegen mee: hoeveel je server aankan (crawl rate) en hoe gewild je content is (crawl demand). Een trage site of veel waardeloze URL’s verspillen budget dat naar je belangrijke pagina’s had kunnen gaan.

• Snelle, foutloze serverresponses
• Verse, regelmatig bijgewerkte content
• Weinig duplicate content en lege parameter-URL’s

Hoe stuur je het bij?

Je verspilt geen budget aan pagina’s die er niet toe doen. Blokkeer onnodige URL’s via robots.txt, houd je sitemap schoon en actueel, en zorg voor een logische crawlability zodat bots je waardevolle content snel vinden. Een platte crawl-depth helpt Google je diepste pagina’s sneller te bereiken en te indexeren.

Waarom dit telt voor resultaat

Bij Customer Impact focussen we op pagina’s die leads en omzet opleveren, niet op een bijgewerkte index als doel op zich. Voor de meeste B2B-sites is crawlbudget geen acuut probleem, maar bij omvangrijke catalogi of veel filtercombinaties wel. Door je budget te richten op je commerciele pagina’s zorg je dat Google ziet wat ertoe doet, in plaats van te verdwalen in technische ruis.