Crawl budget uitgelegd: wanneer het wel en niet uitmaakt

Crawl budget is het aantal pagina’s dat een zoekmachine als Google binnen een bepaalde periode op je site ophaalt. Het korte antwoord op de vraag of je je er druk om moet maken: voor de meeste B2B-sites niet. Crawl budget wordt pas een factor wanneer je site zo groot, zo traag of zo rommelig is dat Google niet meer aan al je belangrijke pagina’s toekomt. In dit artikel lees je wat crawl budget precies is, waar de drempel ligt en wanneer je je aandacht beter ergens anders aan besteedt.

Wat is crawl budget precies?

Voordat een pagina kan ranken, moet Google ze eerst ophalen (crawlen) en vervolgens opnemen in de index. Crawl budget gaat over die eerste stap. Het is geen vast getal dat Google je toekent, maar het resultaat van twee dingen die samenkomen.

Het eerste is je crawlcapaciteit: hoeveel verzoeken je server aankan zonder traag te worden of fouten te geven. Reageert je site snel, dan durft Google meer pagina’s per bezoek op te halen. Hapert je server, dan trekt Google zich terug om je site niet te belasten.

Het tweede is crawlvraag: hoeveel Google je content waard vindt om op te halen. Populaire pagina’s, pagina’s die vaak veranderen en pagina’s met veel verwijzingen worden vaker bezocht. Een statische pagina die nooit wijzigt en nergens naar gelinkt wordt, zakt onderaan de wachtrij.

Samen bepalen die twee hoeveel van je site Google in de praktijk bekijkt. Crawl budget is een onderdeel van technische SEO en hoort thuis in het grotere plaatje van SEO, maar het is een onderwerp dat in B2B vaak meer aandacht krijgt dan het verdient.

Voor wie is crawl budget geen zorg?

Laten we eerlijk beginnen, want dat scheelt je veel verloren tijd. Heeft je site enkele tientallen tot enkele honderden pagina’s, dan is crawl budget zo goed als nooit je probleem. Google haalt sites van die omvang moeiteloos volledig op. Het zou verspilde energie zijn om aan crawl budget te sleutelen terwijl je content, interne links of laadsnelheid de echte hefbomen zijn.

De meeste B2B-dienstverleners, productbedrijven en lokale spelers vallen in deze categorie. Een site met een homepage, een handvol dienstpagina’s, een over-pagina, een contactpagina en een kennisbank van enkele honderden artikelen komt nooit in de buurt van een crawllimiet. Sta je pagina’s niet in Google, dan ligt dat vrijwel altijd aan iets anders: een vergeten noindex-tag, een pagina zonder enkele interne link, of inhoud die simpelweg te dun is om opgenomen te worden. Hoe dat zit lees je in onze uitleg over website indexeren.

Met andere woorden: als iemand je vertelt dat crawl budget de reden is waarom je site van vijftig pagina’s niet rankt, mag je sceptisch zijn. De diagnose klopt bijna nooit.

Vanaf welke drempel wordt het wel een factor?

Crawl budget wordt relevant wanneer de schaal of de kwaliteit van je site Google in de weg gaat zitten. Er is geen exact getal waarboven een knop omgaat, maar een paar signalen helpen je inschatten of je in het risicogebied zit.

Het eerste is pure omvang. Vanaf grofweg duizenden tot tienduizenden URL’s begint het uit te maken in welke volgorde en hoe vaak Google je pagina’s ophaalt. Denk aan grote webshops, uitgebreide kennisbanken, portalen of sites die automatisch veel pagina’s genereren. Vanaf dat punt kan het gebeuren dat nieuwe of gewijzigde pagina’s trager worden opgepikt omdat Google zijn aandacht moet verdelen.

Het tweede signaal heeft niets met omvang te maken, maar met rommel. Een kleinere site kan zichzelf alsnog in de problemen werken door enorme hoeveelheden lage-waarde-URL’s te produceren. Veelvoorkomende boosdoeners:

• Filter- en sorteer-URL’s die eindeloze combinaties van parameters genereren. Hoe je die specifiek aanpakt lees je in ons artikel over faceted navigation en SEO.
• Interne zoekresultaatpagina’s die crawlbaar zijn.
• Sessie-ID’s of trackingparameters die dezelfde pagina onder tientallen URL’s tonen.
• Eindeloze paginering of kalenderpagina’s die jaren vooruit lopen.

In die gevallen verspilt Google zijn aandacht aan pagina’s die er niet toe doen, waardoor je echte pagina’s minder vaak aan bod komen. Het derde signaal is snelheid: een trage server of veel serverfouten knijpen je crawlcapaciteit af, ongeacht hoe groot je site is. Hoe je dat opvolgt lees je in onze uitleg over crawlstatistieken in Search Console.

Hoe weet je of jouw site eraan toe is?

Je hoeft niet te gokken. Het crawlstatistieken-rapport in Google Search Console toont hoe Google je site de afgelopen periode heeft gecrawld: hoeveel verzoeken per dag, hoe je server reageerde en welke responstijden Google tegenkwam. Twee vragen geven je het meeste houvast.

De eerste: bereikt Google je belangrijkste commerciele pagina’s en haalt het ze regelmatig op? Zo ja, dan is er weinig aan de hand, los van hoe groot het totale getal is. De tweede: zie je veel serverfouten of trage responstijden? Dat zijn de echte alarmbellen, want ze remmen Google af los van je omvang.

Een tweede praktische check is de verhouding tussen het aantal URL’s dat je site genereert en het aantal pagina’s dat je echt geindexeerd wilt zien. Loopt dat ver uiteen, bijvoorbeeld omdat filters en parameters duizenden varianten opleveren van een paar honderd echte pagina’s, dan heb je een rommelprobleem dat zich als een crawl budget-probleem voordoet. De oplossing zit dan niet in meer crawlcapaciteit, maar in het opruimen van wat Google te zien krijgt.

Wat doe je eraan als het wel uitmaakt?

Stel dat je site groot genoeg is of genoeg rommel produceert om crawl budget tot een echte factor te maken. Dan draait de aanpak om een simpel principe: laat Google zijn aandacht besteden aan wat ertoe doet, en niet aan wat dat niet doet. Een paar concrete richtingen:

• Ruim lage-waarde-URL’s op. Blokkeer crawlbare filtercombinaties, interne zoekresultaten en parameter-varianten die geen unieke waarde hebben, bijvoorbeeld via je robots.txt of door ze niet intern te linken.
• Gebruik canonical tags consistent. Wanneer dezelfde inhoud onder meerdere URL’s bestaat, wijs je met een canonical de versie aan die telt. Zo voorkom je dat Google tijd verspilt aan duplicaten.
• Houd je sitemap schoon. Zet alleen de pagina’s in je XML-sitemap die je echt geindexeerd wilt zien, zodat je Google een heldere prioriteitenlijst geeft.
• Verbeter je serversnelheid. Snellere responstijden vergroten je crawlcapaciteit, omdat Google meer durft op te halen zonder je site te belasten.
• Versterk je interne links. Belangrijke pagina’s die vaak gelinkt worden, worden vaker gecrawld. Diep verstopte pagina’s zakken weg.

Kun je die technische ingrepen niet snel via je CMS doorvoeren, dan biedt edge SEO een manier om redirects, canonicals en directives op de CDN-laag uit te rollen zonder op je dev-team te wachten. En wil je aanpassingen aan titels en meta’s bewijsbaar maken in plaats van op gevoel, kijk dan naar SEO A/B-testen.

Merk op dat de meeste van deze maatregelen je site sowieso beter maken, ongeacht crawl budget. Dat is precies de juiste mindset: je lost een onderliggend kwaliteitsprobleem op, en betere crawling is het gevolg, geen doel op zich.

Veelgestelde vragen over crawl budget

Heeft mijn kleine B2B-site een crawl budget-probleem?

Vrijwel zeker niet. Sites met enkele honderden pagina’s of minder worden door Google moeiteloos volledig gecrawld. Staan je pagina’s niet in de index, dan ligt de oorzaak bijna altijd ergens anders, zoals een noindex-tag, ontbrekende interne links of te dunne content.

Vanaf hoeveel pagina’s wordt crawl budget belangrijk?

Er is geen harde grens, maar als vuistregel begint het mee te spelen vanaf grofweg duizenden tot tienduizenden URL’s, of eerder wanneer je site veel rommel-URL’s en trage responstijden produceert. Omvang en kwaliteit wegen samen.

Verhoogt vaker publiceren mijn crawl budget?

Onrechtstreeks kan het helpen, omdat een actieve site crawlvraag opwekt. Maar je dwingt er geen hoger budget mee af. Een snellere server, schone URL-structuur en sterke interne links hebben doorgaans meer effect dan publicatiefrequentie alleen.

Is crawl budget hetzelfde als indexering?

Nee. Crawlen is het ophalen van een pagina, indexeren is het opnemen ervan in de zoekresultaten. Google kan een pagina crawlen en daarna alsnog besluiten ze niet te indexeren, bijvoorbeeld omdat ze te weinig waarde toevoegt.

Besteed je aandacht aan de juiste hefboom

Crawl budget is een echt mechanisme, maar voor de overgrote meerderheid van B2B-sites geen probleem dat je tijd verdient. Het wordt pas een factor bij flinke schaal, veel rommel-URL’s of trage servers. De kunst is om eerst eerlijk vast te stellen of het op jou van toepassing is, in plaats van een oplossing te bouwen voor een probleem dat je niet hebt.

Wij zijn een klein team dat snel beweegt en eerlijk zegt wat wel en niet loont. We sturen op pipeline en omzet, niet op ijdele cijfers, en we zorgen dat je niet alleen in Google rankt maar ook geciteerd wordt door AI-zoekmachines als ChatGPT en Perplexity. Wil je weten waar jouw site echt winst laat liggen, dan brengt onze seo specialist dat voor je in kaart. Begin met een blik op de basis via onze pijler over wat SEO is.

Benieuwd waar jouw groei vastloopt? Plan je gratis intake