Moet ik AI-bots toelaten of blokkeren op mijn site?

Voor de meeste B2B-bedrijven is het verstandig om AI-bots toe te laten. Blokkeer je ze, dan kunnen engines je content niet ophalen en verdwijn je uit de antwoorden waar je kopers steeds vaker op vertrouwen. Alleen bij gevoelige of betaalde content kan blokkeren zinvol zijn.

Hoe laat ik AI-bots toe of weiger ik ze?

Dat regel je in je robots.txt, het bestand waarmee je crawlers instrueert welke delen van je site ze mogen bezoeken. Daarin kun je per bot, zoals die van OpenAI of Google, toegang geven of weigeren. Het is geen waterdicht slot, maar de meeste gerespecteerde crawlers houden zich eraan. Naast robots.txt kun je met llms-txt bovendien aangeven welke content het meest relevant is voor engines.

Wat win ik door ze toe te laten?

Zichtbaarheid. Als jouw content bereikbaar is, kan een engine je aanhalen wanneer een koper een vraag stelt over jouw vakgebied. Voor B2B is dat waardevol, want beslissers gebruiken AI-engines om leveranciers te vergelijken voordat ze contact opnemen. Blokkeer je alles, dan geef je dat terrein weg aan concurrenten die wel zichtbaar zijn. Dit sluit aan op de bredere logica van GEO: aanwezig zijn in de antwoorden waar je markt zit.

Wanneer is blokkeren wel slim?

Als content achter een login zit, betaald is, of bedoeld is om exclusief te blijven, kun je die afschermen. Ook als je echt niet wilt dat je materiaal in trainingsdata terechtkomt, is selectief blokkeren een keuze. Het verschil tussen crawlen voor antwoorden en crawlen voor training is daarbij belangrijk, en niet elke bot doet hetzelfde. We werken die afwegingen uit in de gids over AI-bots blokkeren in robots.txt.

Wat adviseert Customer Impact?

Wij kiezen per situatie, niet op basis van angst. Voor de meeste B2B-sites adviseren we openstellen, omdat zichtbaarheid in AI-engines tot aanvragen kan leiden. We werken uitsluitend voor B2B, met een klein en snel team, en sturen op klanten en omzet, niet op het afschermen van content die je juist gevonden wil hebben.