Logfile-analyse voor SEO: wat Googlebot echt doet

Google Search Console vertelt je hoe vaak Googlebot je site bezoekt, maar het doet dat in afgeronde grafieken en steekproeven. Wil je weten wat de bot echt doet, welke pagina’s hij ophaalt, welke hij overslaat en waar hij zijn tijd verspilt, dan kijk je naar de bron: je serverlogs. Logfile-analyse leest het ruwe crawlgedrag in plaats van het gemiddelde. In dit artikel lees je wat een logfile is, waarom het scherper kijkt dan een dashboard en welke SEO-problemen je ermee vindt.

Wat is een logfile precies?

Elke keer dat iemand of iets je server een verzoek stuurt, schrijft die server een regel weg in een logbestand. Een bezoeker, een browser, een crawler: allemaal laten ze een spoor na. Zo’n regel bevat het IP-adres van de bezoeker, het tijdstip, de opgevraagde URL, de statuscode die de server teruggaf (200, 301, 404, 5XX) en de user-agent die zich aandiende, bijvoorbeeld Googlebot.

Dat maakt een logfile fundamenteel anders dan elk SEO-rapport. Het is geen interpretatie en geen schatting. Het is de letterlijke registratie van wat er gebeurde. Voor SEO is dat goud waard, want het toont je het werkelijke crawlgedrag van Googlebot op pagina-niveau, niet het beeld dat een tool ervan maakt.

Waarom logs scherper kijken dan Search Console

Het crawlstatistieken-rapport in Search Console is nuttig en gratis, en voor veel sites is het een prima vertrekpunt. Maar het werkt met aggregaten. Je ziet totalen, gemiddelden en een selectie van crawl-verzoeken, niet alle. Google zegt zelf dat het rapport de meeste verzoeken bevat, maar niet elk verzoek. Je krijgt de samenvatting, niet de boekhouding.

Logfiles geven je die boekhouding wel. Een paar voorbeelden van wat alleen in de logs zichtbaar wordt:

• Welke specifieke URL’s Google negeert. Een dashboard vertelt je dat je crawlfrequentie daalt. Een logfile vertelt je dat Google je drie belangrijkste dienstenpagina’s al weken niet meer heeft opgehaald.
• Hoe vaak Google waardeloze pagina’s crawlt. Filterpagina’s, oude parameter-URL’s, eindeloze paginering: in de logs zie je precies hoeveel crawlbudget daaraan opgaat in plaats van aan je geldpagina’s.
• De echte verhouding tussen crawls en conversie-pagina’s. Niet het totale aantal crawls, maar de vraag of de bot de pagina’s bereikt die leads opleveren.

Search Console vertelt je dat er iets aan de hand is. De logfile vertelt je waar en hoe vaak. Dat verschil is het hele punt: je gaat van een symptoom naar een diagnose.

Welke SEO-problemen vind je in je logs?

Logfile-analyse is sterk in vier soorten problemen die in standaardrapporten onzichtbaar blijven.

Crawlbudget-verspilling. Crawlbudget is de tijd en middelen die Google aan je site besteedt. Zie je in de logs dat een groot deel van de crawls naar onbelangrijke URL’s gaat, dan blijft er minder over voor de pagina’s die ertoe doen. Je lost dit op door die rommel-URL’s te blokkeren of op te schonen, zodat Google zijn aandacht richt op je commerciele content. Dit weegt vooral zwaar voor grotere B2B-sites met honderden pagina’s.

Niet-gecrawlde geldpagina’s. Dit is het meest verraderlijke. Een pagina die Google niet crawlt, kan niet ranken en levert dus geen pijplijn op. In de logs zie je meteen welke pagina’s de bot al lang niet meer bezocht. Vaak ligt de oorzaak in je interne linkstructuur: pagina’s die te diep weggestopt zitten, krijgen weinig crawl-aandacht. Een vlakkere architectuur en sterkere interne links trekken de bot terug naar binnen.

Verzwegen serverfouten. Veel 5XX-codes in je logs betekenen dat je server Googlebot wegduwt op het moment dat de bot langskomt. Dat zie je niet altijd terug in een gemiddelde, omdat het kortstondige pieken kunnen zijn. In de logs staat het exacte tijdstip en de exacte URL, waarmee je samen met je hostingpartij de oorzaak kunt vinden.

Vergeten 404’s en redirect-ketens. De logs tonen welke URL’s Google nog blijft opvragen ondanks dat ze niet meer bestaan, en waar redirects elkaar opstapelen. Beide kosten crawlbudget en verzwakken je structuur. Het opruimen daarvan hoort thuis in een bredere technische SEO-aanpak.

Zo pak je een logfile-analyse aan

Je hoeft geen data-engineer te zijn om te starten, maar je hebt wel toegang nodig tot je serverlogs. Die vraag je op bij je hosting of haalt je uit je CDN of serverpaneel. De grote lijn ziet er zo uit:

1. Verzamel een representatieve periode. Een week of een maand aan logs geeft een betrouwbaarder beeld dan een enkele dag.
2. Filter op Googlebot. Je wil het crawlgedrag van Google isoleren. Let op: kwaadwillende bots vermommen zich graag als Googlebot, dus verifieer de echte bot via een reverse DNS-lookup.
3. Groepeer per URL en statuscode. Zo zie je welke pagina’s vaak, weinig of nooit worden gecrawld, en welke codes ze teruggeven.
4. Leg het naast je sitestructuur. Vergelijk de gecrawlde URL’s met je sitemap en je belangrijkste pagina’s. De gaten daartussen zijn je actielijst.

Voor de praktische uitvoering kun je verschillende tools inzetten, van eenvoudige parsers tot gespecialiseerde software. We zetten ze naast elkaar in logfile-analyse-tools vergelijken, zodat je kiest wat bij de grootte van je site past. En past de hele oefening in een breder onderzoek, dan koppelen we de loginzichten aan een gestructureerde SEO-audit waarin we crawl, structuur en content samenbrengen.

Heeft elke site dit nodig?

Eerlijk advies: nee. Heb je een nette brochuresite van twintig pagina’s, dan is logfile-analyse vaak overkill. Google crawlt zo’n site moeiteloos, en je tijd is beter besteed aan content en interne links. De waarde groeit met de omvang en complexiteit van je site. Honderden pagina’s, veel parameters, een webshop of een platform: daar verdient logfile-analyse zich snel terug, omdat verspild crawlbudget en niet-gecrawlde pagina’s dan echt geld kosten.

Dat is meteen de Customer Impact-gedachte. Een hoog aantal crawls is een ijdel cijfer. Wat telt, is of Google je dienstenpagina’s en je sterke content bereikt en indexeert, want daar zit je pijplijn. SEO is bij ons geen losse technische oefening, maar de acquisitielaag van een groeimotor die je gevonden en geciteerd krijgt, ook door AI-zoekmachines zoals ChatGPT en Perplexity. We bouwen die motor en sturen op leads, niet op grafiekjes. Logfile-analyse is een van de manieren waarop onze seo specialist controleert of het fundament klopt.

Wil je weten wat Googlebot op jouw site doet?

Logfiles liegen niet. Ze tonen je precies welke pagina’s Google ophaalt, welke hij negeert en waar je crawlbudget weglekt. Wil je weten of jouw belangrijkste pagina’s wel bereikt worden, en wat dat betekent voor je rankings en je leads? Wij zijn een klein team dat snel beweegt en eerlijk advies geeft, zonder jargon en zonder onnodige tools.

Plan je gratis intake