AI-bots blokkeren of binnenlaten? De robots.txt-beslissing voor B2B

Voor de meeste B2B-merken is GPTBot blokkeren in robots.txt de verkeerde reflex. Je sluit dan precies de bots buiten die jouw content in ChatGPT en Perplexity kunnen tonen, terwijl koopintentie-onderzoek daar steeds vaker gebeurt. Blokkeren loont enkel voor content die je echt wil afschermen, zoals betaalde rapporten of proprietary methodiek. Hieronder lees je per contenttype wanneer je weert en wanneer je net binnenlaat.

Wat doet AI-bots blokkeren eigenlijk?

AI-bots zijn de crawlers waarmee modellen zoals ChatGPT en Claude het web lezen. De bekendste is GPTBot van OpenAI, daarnaast heb je onder andere ClaudeBot (Anthropic), Google-Extended en de crawler van Perplexity. In je robots.txt kun je per bot aangeven of die jouw pagina’s mag ophalen.

Een blokkade ziet er zo uit:

User-agent: GPTBot
Disallow: /

Belangrijk om te snappen: dit is een instructie, geen slot. Het zegt “kom hier niet”, maar het versleutelt niets. Het werkt alleen omdat de grote spelers de afspraak respecteren. Wil je content echt dichttimmeren, dan hoort die achter een login of betaalmuur, niet enkel achter een regel in robots.txt.

En let op het verschil: een AI-bot weren is niet hetzelfde als Google weren. Je kan GPTBot blokkeren en tegelijk perfect blijven ranken in de klassieke zoekresultaten, want dat is een andere crawler (Googlebot). De keuze raakt dus je AI-zichtbaarheid, niet je klassieke SEO.

Waarom blokkeren B2B-bedrijven GPTBot zo vaak reflexmatig?

De reflex komt uit een logische angst: “AI traint op mijn content en verkoopt mijn kennis door zonder dat ik er iets aan heb.” Dus gaat de slagboom dicht, vaak nog voor iemand de afweging heeft gemaakt.

Het probleem is dat die angst de verkeerde vraag beantwoordt. Voor een webshop met unieke productfoto’s is contentdiefstal een reëel thema. Voor een B2B-dienstverlener die net gevónden wil worden door de juiste beslisser, is onzichtbaarheid het grotere risico. Je kennisartikelen, je aanpak, je cases: dat is geen schat die je verbergt, dat is je etalage.

En die etalage staat steeds vaker in een AI-antwoord in plaats van in een lijst blauwe links. Een groeiend deel van de mensen gebruikt intussen AI-tools naast of in plaats van een traditionele zoekmachine, en ChatGPT verwerkt naar schatting 2,5 miljard prompts per dag (TechCrunch). Een deel van die prompts gaat over leveranciers, oplossingen en aanpakken in jouw markt. Blokkeer je GPTBot, dan kan jouw merk daar simpelweg niet als antwoord opduiken.

Dat is ook de bredere verschuiving achter the end of search: zichtbaarheid verplaatst zich van de zoekpagina naar het gegenereerde antwoord. Wie de toegang dichtgooit, zet zichzelf buiten dat antwoord.

Wanneer beschermt blokkeren wél je omzet?

Er zijn echte gevallen waarin weren de juiste keuze is. De rode draad: blokkeer wat je verdienmodel ondergraaft als het gratis in een AI-antwoord belandt, niet wat je zichtbaarheid juist zou helpen.

Blokkeren loont doorgaans voor:

• Betaalde of premium content. Rapporten, whitepapers achter een formulier, betaalde kennisbanken. Als de kern daarvan zonder je merk in ChatGPT verschijnt, ondergraaf je je eigen aanbod.
• Proprietary methodiek of IP. Een uniek raamwerk, propriëtaire data of een aanpak die letterlijk je onderscheidend vermogen is. Wat je commercieel beschermt, hoef je niet vrij te trainen.
• Klantportalen en afgeschermde omgevingen. Alles achter een login hoort sowieso niet door een publieke crawler bereikt te worden. Hier is blokkeren een hygiënemaatregel, geen strategie.
• Gevoelige of vertrouwelijke pagina’s. Interne documentatie, klantspecifieke informatie, prijzen die je niet publiek wil.

Merk op dat dit allemaal content is die je in de meeste gevallen ook niet zomaar publiek op je open site zou zetten. Dat is precies het signaal: hoort iets achter een muur, dan hoort het ook buiten bereik van de bots.

Wanneer kost blokkeren je net leads?

Voor het leeuwendeel van een B2B-site geldt het omgekeerde. Dit is content waar je net zoveel mogelijk bereik voor wil, dus die laat je open:

• Kennisartikelen en blog. Je expertise is je beste verkoper. Wordt die geciteerd in een AI-antwoord, dan komt je merk binnen op het moment dat iemand research doet.
• Dienstenpagina’s. Wie via ChatGPT vraagt “welk bureau helpt met X in België”, wil je dat jouw aanbod meekan in dat antwoord.
• Cases en bewijs van resultaat. Sociale bewijskracht werkt ook richting AI: het zijn signalen die helpen bepalen wie als antwoord wordt voorgesteld.
• Over-ons, team en autoriteitssignalen. Dit voedt het beeld dat het model van jouw entiteit opbouwt.

De honest kant van dit verhaal: toegang geven is op zich geen garantie. Een bot binnenlaten betekent niet automatisch dat je geciteerd wordt. Blokkeren weghalen is een randvoorwaarde, geen volledige strategie. Wil je daadwerkelijk in de antwoorden opduiken, dan hoort daar gericht GEO-werk bij. We helpen daarbij met onze AI-search dienst, waarbij we altijd eerst kijken of de investering effectief tot leads leidt en niet enkel tot een mooi cijfer.

Hoe beslis je per contenttype? Een beslisboom

Behandel het niet als één schakelaar voor je hele site. Loop dit per contentblok af:

1. Staat de content achter een login of betaalmuur? Ja: blokkeren (en zorg dat de afscherming zelf klopt). Nee: ga door.
2. Is het je propriëtaire IP of betaalde aanbod? Ja: blokkeren. Nee: ga door.
3. Wil je dat een prospect dit vindt tijdens leverancierskeuze? Ja: binnenlaten. Twijfel: binnenlaten, want de standaard voor publieke B2B-content is zichtbaarheid.

Praktisch betekent dat meestal: open voor je publieke kennis- en aanbodpagina’s, dicht voor specifieke afgeschermde paden. In robots.txt regel je dat per pad, bijvoorbeeld door alles toe te laten maar één map te weren:

User-agent: GPTBot
Disallow: /rapporten/

Wil je een fijnmaziger consent-laag richting AI-crawlers, dan is een llms.txt-bestand het overwegen waard als aanvulling op robots.txt.

Hoe stel je het correct in zonder iets te breken?

Een paar praktische punten zodat je geen zichtbaarheid weggeeft of per ongeluk Google buitensluit:

• Gebruik een aparte regel per bot. GPTBot, ClaudeBot, Google-Extended en PerplexityBot zijn losse user-agents. Een blok voor de ene raakt de andere niet.
• Verwar Google-Extended niet met Googlebot. Google-Extended stuurt AI-training, Googlebot stuurt je klassieke zoekresultaten. Blokkeer nooit Googlebot tenzij je echt uit Google wil verdwijnen.
• Test je bestand. Een verkeerd geplaatste Disallow: / zet per ongeluk alles dicht. Controleer dat publieke paden bereikbaar blijven.
• Combineer toegang met structuur. Toegang plus goede structured data helpt modellen je content correct te begrijpen en te citeren.

Doe dit niet als een eenmalige zet. Nieuwe AI-crawlers duiken op, je content groeit, en de afweging per contenttype verschuift mee. Plan een halfjaarlijkse review van je robots.txt in.

Veelgestelde vragen over AI-bots blokkeren

Verlies ik mijn Google-rankings als ik GPTBot blokkeer?

Nee. GPTBot en Googlebot zijn verschillende crawlers. Je kan GPTBot weren en gewoon blijven ranken in de klassieke zoekresultaten. Pas op met Google-Extended: dat is de AI-trainingvariant van Google, niet je gewone zoek-crawler.

Is robots.txt een echte beveiliging tegen scraping?

Nee. Het is een beleefde instructie die de grote, nette spelers respecteren. Het versleutelt of beveiligt niets. Echt gevoelige content hoort achter een login of betaalmuur, niet enkel achter een regel in robots.txt.

Mijn concurrent blokkeert alle AI-bots, moet ik dat ook doen?

Niet zonder eigen afweging. Als je concurrent zichzelf uit AI-antwoorden weert en jij niet, ontstaat daar net een opening voor jou. Beslis op basis van je eigen content en doelen, niet op reflex.

Helpt toegang geven alleen al om geciteerd te worden?

Toegang is een randvoorwaarde, geen garantie. De bot moet binnen kunnen, maar of je ook echt in het antwoord verschijnt hangt af van je autoriteit, structuur en relevantie. Daar draait gericht GEO-werk om.

Klaar om de juiste keuze te maken?

De blokkeer-vraag is geen technisch detail, het bepaalt of je merk meedoet in de AI-antwoorden waar je kopers nu kiezen. Wij kijken eerlijk mee: welke content je beter afschermt, welke je open zet, en of investeren in AI-zichtbaarheid bij jou daadwerkelijk leads oplevert. Geen ijdele cijfers, wel pipeline. Plan je gratis intake.