Noindex, canonical of robots.txt: welke directive wanneer?

Noindex, canonical en robots.txt worden constant door elkaar gehaald. Ze klinken alle drie als manieren om Google iets te verbieden, en dus worden ze vaak willekeurig ingezet. Het gevolg: pagina’s die je weg wilde houden staan gewoon in de index, en pagina’s die je juist wilde tonen verdwijnen. De drie directives lossen elk een ander probleem op. In dit artikel krijg je een beslismatrix die voor elke situatie kiest welke je inzet, en waarom de combinaties die je intuïtief maakt vaak het tegenovergestelde doen van wat je verwacht. Wil je eerst de basis scherp, lees dan onze pillar over wat SEO is.

Drie directives, drie verschillende vragen

De fout begint bijna altijd op hetzelfde punt: mensen denken dat de drie hetzelfde doen, namelijk “een pagina uit Google halen”. Dat klopt niet. Elk werkt op een ander moment in het proces dat Google doorloopt: eerst crawlen, dan indexeren, dan beslissen welke versie telt.

• Robots.txt zegt: mag Google deze pagina (of map) crawlen, ja of nee? Het regelt toegang, niet zichtbaarheid.
• Noindex zegt: Google mag deze pagina crawlen, maar mag ze niet in de zoekindex opnemen. Het regelt indexatie.
• Canonical zegt: deze pagina is een variant van een andere; tel de andere als de echte. Het regelt consolidatie, niet uitsluiting.

Zodra je de vraag achter elke directive scherp hebt, lossen de meeste twijfelgevallen zich vanzelf op. De kunst is niet de syntax kennen, maar weten welke vraag je eigenlijk stelt.

De beslismatrix

Loop deze vragen in volgorde af. De eerste die “ja” oplevert, geeft je directive.

1. Wil je dat Google deze pagina niet crawlt, omdat ze waardeloos is voor crawlbudget of gevoelig is? Gebruik robots.txt met een Disallow. Denk aan interne zoekresultaten, filtercombinaties die oneindig genereren, of admin-paden. Let op: dit houdt de pagina niet noodzakelijk uit de index. Als anderen ernaar linken, kan Google de URL toch tonen, alleen zonder de inhoud te kennen.

2. Wil je dat de pagina wél gecrawld wordt maar niet in de zoekresultaten verschijnt? Gebruik een noindex (<meta name="robots" content="noindex"> of de HTTP-header). Dit is de juiste keuze voor bedanktpagina’s, login-schermen, dunne tag-archieven of een staging-omgeving. Google bezoekt de pagina, ziet de instructie en laat ze weg uit de index. Cruciaal: de pagina mag dan níét geblokkeerd zijn in robots.txt, anders ziet Google de noindex nooit.

3. Bestaat dezelfde of bijna dezelfde inhoud op meerdere URL’s, en wil je dat één versie alle signalen krijgt? Gebruik een canonical (<link rel="canonical" href="...">). Klassiek voorbeeld: een productpagina die bereikbaar is via meerdere categoriepaden, of URL’s met tracking-parameters. De canonical bundelt linkwaarde en voorkomt dat varianten elkaar kannibaliseren, terwijl alle versies bereikbaar blijven voor de gebruiker.

4. Wil je inhoud die echt identiek is volledig laten verdwijnen, niet consolideren? Dan is canonical te zacht. Kies voor een 301-redirect als de oude URL weg mag, of een noindex als de pagina moet blijven bestaan maar onzichtbaar.

Waarom de intuïtieve combinaties misgaan

De grootste valkuil is robots.txt en noindex stapelen op dezelfde pagina. Het lijkt logisch: dubbel zo zeker dat de pagina weg is. In werkelijkheid sluiten ze elkaar uit. Een noindex is een instructie die ín de pagina staat. Als robots.txt het crawlen verbiedt, opent Google de pagina nooit en leest dus de noindex nooit. Resultaat: de URL kan alsnog in de index belanden, want je hebt de enige instructie die hem eruit zou houden onbereikbaar gemaakt. Wil je een pagina écht uit de index, laat hem dan crawlbaar en zet er een noindex op. Pas als hij uit de index verdwenen is, mag je hem eventueel in robots.txt blokkeren.

Een tweede misverstand: canonical gebruiken om ongewenste pagina’s te verbergen. Een canonical is een hint, geen bevel. Google mag hem negeren als de signalen tegenspreken, bijvoorbeeld wanneer de twee pagina’s inhoudelijk te veel verschillen. Voor echte duplicaten werkt het prima, maar reken er niet op om dunne of ongewenste pagina’s “stil” te krijgen. Daarvoor heb je noindex of een redirect nodig.

Een derde valkuil zit bij paginatie en facetnavigatie in webshops. Veel teams plakken een canonical van pagina 2, 3 en verder naar pagina 1. Dat verbergt je dieper liggende producten voor de index. Bij paginering is het meestal beter elke pagina zichzelf te laten zijn, en alleen bij echte parameter-duplicaten te consolideren. De afweging hangt af van je structuur, en dat is precies waar een seo specialist waarde toevoegt: niet de regel toepassen, maar de uitzondering herkennen.

Hoe dit past in je bredere indexatiestrategie

Directives zijn geen losse trucs. Ze zijn de fijnafstelling bovenop een gezonde basis. Voordat je gaat blokkeren of consolideren, wil je weten welke pagina’s überhaupt waarde hebben. Een pagina noindexen die wél leads zou kunnen opleveren is net zo schadelijk als een waardeloze pagina laten indexeren. Daarom begint elke directive-keuze met een inhoudelijk oordeel: wat doet deze pagina voor je pipeline?

Praktische volgorde die je per pagina doorloopt:

1. Heeft de pagina zoekwaarde? Zo nee, overweeg noindex of zelfs verwijderen. Zo ja, laat hem volledig indexeerbaar.
2. Is er een variant die linkwaarde versnippert? Consolideer met canonical of een redirect.
3. Verspilt crawlen budget aan oneindige URL-ruimtes? Sluit die patronen af in robots.txt, maar nooit op pagina’s waar nog een noindex op moet werken.
4. Controleer in Search Console of Google je instructies ook echt opvolgt. De index-rapporten laten zien welke pagina’s uitgesloten zijn en waarom.

Die laatste stap wordt het vaakst overgeslagen. Een directive instellen is geen garantie dat Google hem leest of respecteert; je verifieert het in de praktijk. Hoe een pagina überhaupt in de index belandt, lees je in ons artikel over website indexeren. Wil je het crawlproces zelf beter sturen, dan helpt onze uitleg over een XML-sitemap opzetten je verder.

Onze kijk: directives zijn pipeline-keuzes, geen technische trucs

Bij Customer Impact behandelen we crawl- en indexatiedirectives niet als een aparte technische to-do, maar als onderdeel van één groeimotor met één meetlat: gekwalificeerde pipeline. Elke pagina die je laat indexeren of bewust weghoudt, is een keuze over waar je autoriteit en aandacht naartoe gaan. Datzelfde principe geldt voor AI-zoekmachines. ChatGPT, Google AI en Perplexity citeren bronnen op basis van helderheid en structuur. Als je index een rommeltje van duplicaten en dunne pagina’s is, verzwak je niet alleen je Google-ranking maar ook je kans om geciteerd te worden. Schone directives maken je vindbaar én citeerbaar, en dat zijn twee lagen van dezelfde beweging.

De fout die we het vaakst zien is dat teams directives reactief inzetten, pagina voor pagina, zonder een beeld van welke inhoud er eigenlijk toe doet. Daardoor blokkeren ze soms hun beste pagina’s en laten ze hun zwakste staan. De matrix hierboven werkt pas echt als hij bovenop een duidelijke inhoudelijke prioritering ligt.

Aan de slag

Twijfel je welke directive op welke pagina hoort, of vermoed je dat een verkeerde combinatie je vindbaarheid in de weg zit? Vertel ons je situatie en je doel. Plan je gratis intake en je hoort binnen 24 uur waar je grootste kansen liggen, in zowel Google als AI-antwoorden.