Common Crawl und Ihre Sichtbarkeit in KI-Antworten

Wer heute in ChatGPT oder einem anderen KI-Assistenten genannt werden will, denkt meist sofort an den Live-Crawler des jeweiligen Anbieters. Es gibt aber einen zweiten, stilleren Weg in das Wissen von Sprachmodellen: Common Crawl. Dieses offene Webarchiv war über Jahre eine der wichtigsten Textquellen für das Training großer Sprachmodelle, und es entscheidet mit darüber, welche Marken ein Modell kennt, ohne live suchen zu müssen.

Für B2B-Verantwortliche ist das kein technisches Detail. Wenn Ihre Seiten nicht in Common Crawl liegen, fehlt Ihnen ein grundlegender Kanal, über den Modelle Wissen über Ihr Unternehmen, Ihre Produkte und Ihre Fachkompetenz aufbauen. In diesem Artikel lesen Sie, was Common Crawl ist, wie es mit den Trainingsdaten großer Modelle zusammenhängt, welche Schritte Ihre Seiten crawlbar und lesbar machen und welche zusätzliche rechtliche Ebene im deutschsprachigen Raum dazukommt.

Direkt anwenden: Prüfen Sie mit dem KI-Sichtbarkeitstest, ob KI-Systeme Ihre Website heute überhaupt lesen dürfen.

Was Common Crawl genau ist

Common Crawl ist eine gemeinnützige Organisation, die seit 2008 in großem Maßstab das Web crawlt und die Ergebnisse frei und öffentlich bereitstellt. Nach eigener Darstellung geht es um Petabyte an Daten: rohe Webseiten, Metadaten und Textextrakte, die periodisch gesammelt und über eine Cloud-Infrastruktur für jedermann zugänglich gemacht werden. Jeder Durchlauf trägt eine eigene Kennung, und mehrmals im Jahr erscheinen neue Ausgaben.

Der Gedanke dahinter ist, dass hochwertige Webdaten nicht exklusiv einigen wenigen Technologiekonzernen gehören sollten. Jeder, von Forschungsgruppen bis zu jungen Unternehmen, kann den Datensatz laden und nutzen. Genau diese Offenheit macht Common Crawl zu einer Standardzutat beim Bau von Sprachmodellen: Er ist groß, kostenfrei und erspart es, eine eigene Crawl-Infrastruktur aufzubauen.

Für Sie als Marke funktioniert Common Crawl damit wie eine öffentliche Bibliothek des Webs. Ob Ihre Seiten in dieser Bibliothek stehen, entscheidet mit, ob KI-Systeme Ihre Inhalte überhaupt als Trainings- oder Referenzmaterial verwenden können.

Wie Common Crawl mit Sprachmodellen zusammenhängt

Common Crawl ist kein abstrakter Datensatz, sondern liegt nachweisbar in den Fundamenten der bekanntesten Sprachmodelle, also der Foundation Models. Eine Untersuchung der Mozilla Foundation beschreibt Common Crawl als eine der einflussreichsten Quellen für generative KI, gerade wegen des Umfangs und der niedrigen Zugangskosten.

In den ursprünglich veröffentlichten Trainingsdaten früher GPT-Generationen bildete Common Crawl die mit Abstand größte Komponente. Modelle nutzen daneben andere Quellen wie Bücher, Enzyklopädien und gefilterte Webtexte, aber keine davon erreicht den Umfang des offenen Webarchivs. Auch andere Modellfamilien stützen sich für einen großen Teil ihres Trainingsmaterials auf Ableitungen von Common Crawl.

Eine wichtige Einschränkung: Modellbauer verwenden die Rohdaten selten ungefiltert. Common Crawl enthält viele Duplikate und viel Material geringer Qualität, es wird also schwer gefiltert. Trotzdem gilt: Was nicht in der Quelle liegt, kann die Filterung nie überleben. Anwesenheit in Common Crawl ist keine Garantie für Aufnahme, Abwesenheit ist aber ein garantierter Ausschluss über diesen Weg.

Das erklärt, warum Common Crawl neben den Live-Crawlern eigene Aufmerksamkeit verdient. Es arbeitet nach einer anderen Logik: Trainingsdaten werden zu einem bestimmten Zeitpunkt eingefroren und danach verwendet. Was damals nicht im Datensatz lag, fehlt in genau dieser Modellversion dauerhaft. Das macht frühe Crawlbarkeit wertvoller, als viele annehmen. Wie das Ganze in einen Gesamtansatz gehört, beschreibt der Leitfaden zur Generative Engine Optimization.

Die Crawler auseinanderhalten

Um Ihre KI-Sichtbarkeit zu steuern, müssen Sie wissen, welcher Crawler welche Rolle spielt. Sie werden häufig verwechselt, verfolgen aber unterschiedliche Zwecke und beachten jeweils ihre eigenen Regeln in Ihrer robots.txt.

Die genauen User-Agent-Zeichenketten ändern sich mit den Versionen, prüfen Sie sie daher bei der Quelle: für CCBot in der Dokumentation von Common Crawl, für die Crawler von OpenAI in deren Crawler-Dokumentation. Wichtig ist die Unterscheidung im Zweck: Ein Crawler, der Trainingsdaten sammelt, ist etwas anderes als einer, der eine Seite für die Beantwortung einer konkreten Nutzerfrage abruft. Wer beide zugleich aussperrt, verliert nicht nur Trainingspräsenz, sondern auch die Möglichkeit, in einer Live-Antwort zitiert zu werden.

Der Kern: CCBot und die Crawler der Modellanbieter sind zwei unabhängige Wege zu derselben Modellkenntnis. CCBot füllt den öffentlichen Datensatz, aus dem viele Anbieter schöpfen, die anbietereigenen Crawler speisen direkt die jeweiligen Modelle. Wer maximal sichtbar sein will, lässt beide herein. Das gesamte Spielfeld von Zulassen gegen Aussperren behandelt die Antwort dazu, ob Sie KI-Bots zulassen oder blockieren sollten.

Die urheberrechtliche Ebene im deutschsprachigen Raum

Hier unterscheidet sich die Lage von einer rein technischen Frage, und dieser Punkt fehlt in den meisten Anleitungen. In Deutschland erlaubt das Urheberrechtsgesetz Text- und Data-Mining, räumt Rechteinhabern aber ausdrücklich die Möglichkeit ein, diese Nutzung für Inhalte im Internet zu untersagen, sofern der Vorbehalt in maschinenlesbarer Form erklärt wird. Österreich und die anderen EU-Mitgliedstaaten haben die zugrunde liegende europäische Richtlinie vergleichbar umgesetzt, die Schweiz folgt einer eigenen Regelung.

Praktisch heißt das dreierlei.

Erstens sind robots.txt und Nutzungsvorbehalt nicht dasselbe. Eine robots.txt ist eine technische Anweisung, deren Wirkung darauf beruht, dass die großen Anbieter sich daran halten. Ein Nutzungsvorbehalt ist eine rechtliche Erklärung. In der Praxis werden beide oft über dieselben Mittel ausgedrückt, robots.txt-Einträge oder Hinweise in den Nutzungsbedingungen, aber sie beantworten verschiedene Fragen: die eine, ob abgerufen wird, die andere, ob verwendet werden darf.

Zweitens ist das eine bewusste Entscheidung, keine Standardeinstellung. Für ein Medienhaus, dessen Inhalte das Produkt sind, kann ein Vorbehalt richtig sein. Für ein B2B-Unternehmen, dessen Inhalte Nachfrage erzeugen sollen, ist er in aller Regel ein Eigentor: Sie schließen sich aus genau den Antworten aus, in denen Ihre Käufer nach Anbietern fragen. Prüfen Sie deshalb, ob ein solcher Vorbehalt in Ihrer Website oder in Ihren Nutzungsbedingungen steht, ohne dass jemand ihn je entschieden hat.

Drittens ist das keine Rechtsberatung, und die Bewertung entwickelt sich. Ob eine bestimmte Formulierung als hinreichend maschinenlesbar gilt und wie weit die Wirkung reicht, ist Gegenstand laufender Diskussion und gerichtlicher Klärung. Wenn diese Frage für Ihr Geschäftsmodell relevant ist, lassen Sie Ihre konkrete Gestaltung juristisch prüfen, statt sich auf eine allgemeine Aussage zu stützen.

Prüfen, ob Ihre Seiten im Archiv liegen

Bevor Sie etwas ändern, wollen Sie wissen, wo Sie heute stehen. Common Crawl bietet dafür einen durchsuchbaren Index.

1. Durchsuchen Sie den URL-Index. Über den Common Crawl URL Index können Sie je Durchlauf nachsehen, welche URLs Ihrer Domain aufgenommen wurden. Finden Sie dort Ihre wichtigsten Seiten, sind Sie im Archiv vertreten.
2. Prüfen Sie Ihre robots.txt auf eine Sperre. Öffnen Sie ihredomain.de/robots.txt und suchen Sie nach einer Regel, die CCBot ausschließt. Steht dort ein Disallow: / unter User-agent: CCBot, oder gilt eine breite Sperre über User-agent: *, halten Sie das Archiv strukturell draußen.
3. Rechnen Sie mit dem Zeitversatz. Eine neue Sperre entfernt Sie nicht aus älteren Durchläufen, sorgt aber dafür, dass künftige Ausgaben Sie überspringen. Umgekehrt gilt: Nach dem Öffnen erscheinen Sie erst in neuen Durchläufen, nicht rückwirkend. Geduld ist also Teil der Strategie.
4. Prüfen Sie die Ebene unter der robots.txt. In Unternehmensumgebungen sperrt häufig nicht die robots.txt, sondern eine vorgelagerte Schutzschicht: eine Web Application Firewall, ein Bot-Management-Dienst oder eine Geo-Sperre. Die robots.txt sieht dann einladend aus, während der Abruf trotzdem abgewiesen wird. Ein Blick in die Server-Logs zeigt, ob der Crawler überhaupt bis zu Ihnen durchkommt.

Stellen Sie fest, dass Ihre gesamte Website oder wesentliche Bereiche gesperrt sind, ist das meist das Erbe einer alten Entscheidung oder eine Voreinstellung Ihres Redaktionssystems, selten eine bewusste Wahl.

Was Sie konkret tun, um crawlbar und lesbar zu sein

Crawlbar zu sein ist die Grundbedingung, lesbar zu sein macht den Unterschied. Diese Schritte sorgen dafür, dass Ihre Inhalte nicht nur abgerufen werden, sondern auch brauchbar im Datensatz landen.

Lassen Sie die relevanten Crawler ausdrücklich zu. Wollen Sie in Trainingsdaten vorkommen, vermeiden Sie eine Sperre. Eine offene Einstellung sieht so aus:

User-agent: CCBot
Disallow:

User-agent: GPTBot
Disallow:

Ein leeres Disallow: bedeutet: nichts gesperrt. Wenn Sie diese Crawler in Ihrer robots.txt gar nicht erwähnen, sind sie ohnehin standardmäßig zugelassen. Für das Gegenteil ersetzen Sie die leere Zeile durch Disallow: /. Prüfen Sie danach auch, dass keine allgemeine Sperre über User-agent: * die spezifische Freigabe aushebelt. Der Wiki-Eintrag zur robots.txt erklärt die Auswertungsreihenfolge.

Sorgen Sie für serverseitiges Rendering. Das ist die am meisten unterschätzte Falle. Archiv-Crawler führen kein JavaScript aus, sie lesen das HTML, das Ihr Server zurückgibt. Baut Ihre Website den Inhalt erst im Browser auf, sieht der Crawler eine leere oder halbleere Seite. Die Lösung ist, dass Ihr wichtigster Text bereits im ausgelieferten HTML steht, über serverseitiges Rendering oder statische Generierung. Prüfen können Sie das, indem Sie die Seite ohne JavaScript laden oder den Quelltext der Serverantwort ansehen: Was dort nicht steht, existiert für den Archiv-Crawler nicht.

Machen Sie Ihre Inhalte maschinenlesbar. Klare Überschriften, kurze Absätze und strukturierte Daten helfen Modellen, Ihre Inhalte korrekt einzuordnen. Schema-Markup gibt explizit Kontext dazu, was Ihre Seite beschreibt, und erhöht die Chance, korrekt verstanden und zitiert zu werden. Genauso wichtig: Nennen Sie Ihr Unternehmen, Ihre Produkte und Ihre Fachbegriffe ausgeschrieben statt mit Pronomen, damit eine einzelne Passage auch ohne den umgebenden Text verständlich bleibt.

Rechnen Sie mit gefälschten Crawlern. Sowohl Common Crawl als auch die Modellanbieter weisen darauf hin, dass sich fremde Abrufe als ihre Crawler ausgeben können. Die Echtheit prüfen Sie über die veröffentlichten Adressbereiche der Betreiber. Relevant wird das, sobald Sie Server-Logs auswerten oder selektiv Zugang gewähren.

Wo Common Crawl aufhört

Ein realistisches Bild gehört dazu. Common Crawl deckt einen Teil des Weges ab, nicht den ganzen.

Erstens ist der Weg langsam. Zwischen dem Öffnen Ihrer Seiten und dem Erscheinen in einer Modellversion liegen Durchlauf, Filterung und Trainingszyklus. Das ist eine Investition auf mittlere Sicht, kein Schalter.

Zweitens verschiebt sich das Gewicht. Moderne Assistenten kombinieren trainiertes Wissen mit einem Live-Abruf, und für aktuelle Fragen entscheidet der Live-Abruf. Wie das dort funktioniert, beschreiben die Beiträge dazu, in ChatGPT gefunden zu werden und in Perplexity gefunden zu werden.

Drittens ersetzt Crawlbarkeit keine Autorität. Im Datensatz zu liegen macht Sie verfügbar, nicht zitierwürdig. Was aus Verfügbarkeit eine Nennung macht, sind eindeutige Entitäten, eigenständige Passagen und Belege außerhalb Ihrer eigenen Domain. Ob und wo Sie heute genannt werden, messen Sie mit den Methoden aus dem Beitrag zum Messen der KI-Sichtbarkeit, und laufend verfolgen können Sie es mit einem GEO-Dashboard.

Häufige Fragen

Kommt meine Website automatisch in Common Crawl?

Nicht garantiert, aber möglich, ohne dass Sie etwas tun, solange Sie CCBot nicht sperren und Ihre Seiten auffindbar und crawlbar sind. Common Crawl erfasst einen großen Teil des öffentlichen Webs, deckt aber nie alles ab. Ihre Chancen erhöhen Sie mit einer sauberen robots.txt, interner Verlinkung auf Ihre wichtigsten Seiten und einer aktuellen Sitemap.

Wenn ich CCBot heute öffne, stehe ich dann sofort in KI-Antworten?

Nein. Common Crawl sammelt in periodischen Durchläufen, und Sprachmodelle werden zu einem bestimmten Zeitpunkt auf einer Momentaufnahme davon trainiert. Zwischen Crawlbarkeit und tatsächlichem Auftauchen in einer Modellversion liegt also Zeit. Für kurzfristige Sichtbarkeit ist der Live-Abruf der Assistenten der relevantere Weg.

Sollte ich CCBot blockieren, um meine Inhalte zu schützen?

Nur wenn Sie tatsächlich nicht wollen, dass Ihre Inhalte als Trainingsmaterial dienen, und wenn Sie den Preis kennen: Sie schließen sich damit aus dem Wissen der Modelle aus. Beachten Sie außerdem, dass die robots.txt eine Anweisung ist und kein Schloss. Inhalte, die Sie wirklich schützen wollen, gehören hinter eine Anmeldung, nicht hinter eine Regel in einer Textdatei.

Was ist der Unterschied zwischen Common Crawl und dem Crawler des Modellanbieters?

Common Crawl füllt einen öffentlichen Datensatz, aus dem viele Anbieter schöpfen. Der anbietereigene Crawler speist direkt die Modelle dieses einen Anbieters. Es sind zwei unabhängige Wege zu derselben Modellkenntnis. Für maximale Sichtbarkeit lassen Sie beide zu, statt zu wählen.

Hilft eine llms.txt-Datei zusätzlich?

Sie ist ein Vorschlag, kein etablierter Standard, und ersetzt weder eine saubere robots.txt noch serverseitig ausgelieferten Text. Was sie ist und wo ihre Grenzen liegen, erklärt der Wiki-Eintrag zu llms.txt. Investieren Sie zuerst in Crawlbarkeit, Lesbarkeit und Autorität, danach in Experimente.

Gilt das alles auch für Österreich und die Schweiz?

Technisch ja, das Archiv kennt keine Grenzen. Rechtlich unterscheidet sich die Ausgangslage: Österreich folgt derselben europäischen Grundlage wie Deutschland, die Schweiz kennt eine eigene urheberrechtliche Regelung. Wenn Ihr Unternehmen in mehreren dieser Märkte auftritt, klären Sie den Nutzungsvorbehalt einmal zentral statt je Länderseite.

Hilfe nötig?

Wollen Sie das in Ausführung übersetzen? Sehen Sie sich an, wie wir KI-Auffindbarkeit angehen, oder vereinbaren Sie Ihr kostenloses Erstgespräch.