SEO & GEO
Wat is de X-Robots-Tag? Indexatie sturen via de HTTP-header
Kopieer voor AI
De X-Robots-Tag is een indexatie-instructie die je niet in de HTML van een pagina zet, maar meegeeft via de HTTP-header van het serverantwoord. Daarmee kun je zoekmachines vertellen dat ze een bestand niet mogen indexeren, ook als dat bestand geen webpagina is. In dit artikel lees je wat de X-Robots-Tag precies is, waarin hij verschilt van de gewone meta robots tag en wanneer je hem nodig hebt.
Wat is de X-Robots-Tag precies?
Elke keer dat je server een bestand levert, stuurt hij een setje onzichtbare gegevens mee: de HTTP-header. De X-Robots-Tag is een regel die je aan die header toevoegt, bijvoorbeeld X-Robots-Tag: noindex. De bezoeker ziet er niets van, maar een crawler leest de instructie wel.
De kracht zit in dat woord “header”. Een gewone meta robots tag staat ín de HTML van een pagina. Maar wat als je bestand geen HTML heeft, zoals een PDF, een afbeelding of een videobestand? Dan is er geen <head> om een tag in te plaatsen. De X-Robots-Tag lost dat op: hij zit op headerniveau en werkt dus voor elk type bestand dat je server levert.
Google ondersteunt voor de X-Robots-Tag exact dezelfde waarden als voor de meta robots tag. Dat bevestigt Google in zijn documentatie over robots meta tags en de X-Robots-Tag.
Welke waarden ondersteunt de X-Robots-Tag?
Omdat de waarden gelijklopen met de meta robots tag, herken je ze meteen:
- noindex. Neem dit bestand niet op in de zoekresultaten.
- nofollow. Volg de links in dit bestand niet.
- noarchive, nosnippet. Geen bewaarde kopie of tekstfragment tonen.
- max-snippet, max-image-preview, max-video-preview. Begrens de grootte van de getoonde preview.
Je kunt meerdere waarden combineren in een komma-gescheiden lijst. Bij tegenstrijdige regels wint volgens Google de meest beperkende. Staan er bijvoorbeeld max-snippet:50 en nosnippet samen, dan geldt nosnippet.
Wanneer gebruik je de X-Robots-Tag?
Voor gewone webpagina’s volstaat de meta robots tag prima. De X-Robots-Tag komt in beeld wanneer een tag in de HTML geen optie is:
- PDF-bestanden die je niet in de zoekresultaten wil, zoals offertes, whitepapers achter een formulier of interne documenten.
- Afbeeldingen en videobestanden die je uit de beeldresultaten wil houden.
- Grote groepen bestanden tegelijk, omdat je de regel centraal in je serverconfiguratie instelt in plaats van bestand per bestand.
Je stelt de X-Robots-Tag in via de configuratie van je webserver, bijvoorbeeld in een .htaccess-bestand bij Apache of in de serverblokken bij Nginx. Dat maakt hem krachtig voor grote schaal, maar ook technischer dan een losse meta tag.
De valkuil: blokkeer het bestand niet in robots.txt
Net als bij de meta robots tag geldt hier een cruciale regel. De X-Robots-Tag wordt pas gelezen wanneer de crawler het bestand ophaalt. Blokkeer je datzelfde bestand in je robots.txt, dan bezoekt Google het nooit, ziet de noindex nooit, en kan het bestand alsnog in de index belanden.
Wil je een bestand echt uit de zoekresultaten, laat het dan crawlbaar en zet er een X-Robots-Tag met noindex op. Robots.txt, noindex en canonical lijken op elkaar maar lossen elk een ander probleem op. Welke je wanneer inzet, en waarom de intuitieve combinaties misgaan, leggen we uit in noindex, canonical of robots.txt.
Wat betekent dit voor B2B?
Voor een B2B-bedrijf is de X-Robots-Tag zelden je grootste zorg, maar wel handig in een paar concrete situaties. Denk aan een whitepaper of prijslijst die je alleen achter een formulier wil aanbieden: je wil niet dat de kale PDF gewoon in Google opduikt en je leadformulier omzeilt. Daar is de X-Robots-Tag het juiste instrument.
Onze eerlijke kijk: overdrijf niet. Voor de meeste sites regel je vindbaarheid met sterke pagina’s en een schone indexatie, en heb je de X-Robots-Tag alleen nodig voor die enkele niet-HTML-bestanden die je bewust wil afschermen. Wil je je hele indexatiestrategie op orde brengen als onderdeel van je SEO-aanpak, dan bekijken we welke bestanden en pagina’s je autoriteit versterken en welke enkel ruis zijn.
Veelgestelde vragen
Wat is het verschil tussen de X-Robots-Tag en de meta robots tag? De meta robots tag staat in de HTML en werkt alleen voor webpagina’s. De X-Robots-Tag zit in de HTTP-header en werkt ook voor bestanden zonder HTML, zoals PDF’s en afbeeldingen. De ondersteunde waarden zijn identiek.
Kan ik met de X-Robots-Tag een PDF uit Google houden?
Ja. Dat is een van de bekendste toepassingen. Zet X-Robots-Tag: noindex op het PDF-bestand via je serverconfiguratie en zorg dat het bestand niet geblokkeerd is in robots.txt.
Waar stel ik de X-Robots-Tag in?
In de configuratie van je webserver, bijvoorbeeld een .htaccess-bestand bij Apache of de serverblokken bij Nginx. Het is dus een technischere ingreep dan een meta tag in je HTML.
Werkt de X-Robots-Tag als het bestand in robots.txt geblokkeerd is? Nee. Google moet het bestand kunnen crawlen om de header te lezen. Is het geblokkeerd, dan wordt de instructie genegeerd en kan het bestand alsnog geindexeerd raken.
Twijfel je over je indexatie?
Duiken er bestanden op in Google die er niet thuishoren, of wil je zeker weten dat je afgeschermde documenten ook echt afgeschermd zijn? Vertel ons je situatie.
We zijn een klein team dat snel beweegt en je eerlijk zegt waar je grootste kansen liggen, in Google en in AI-antwoorden. Plan je gratis intake.
Gratis website-scan
Geef je website in en krijg binnen enkele minuten een automatische scan met concrete technische en SEO-verbeterpunten. Geen verkooppraatje.
Je gegevens gebruiken we alleen voor je scan. Geen spam, uitschrijven kan altijd.