Was ist Crawl-Delay? Die robots.txt-Regel ehrlich erklärt

Crawl-Delay ist eine Anweisung in Ihrer robots.txt, die Suchmaschinen bittet, eine bestimmte Anzahl Sekunden zwischen zwei aufeinanderfolgenden Seitenabrufen zu warten. Gedacht ist sie dazu, zu verhindern, dass ein Crawler Ihren Server überlastet, indem er zu schnell hintereinander Seiten anfordert.

Die ehrliche Einordnung gleich vorweg: Google ignoriert Crawl-Delay vollständig, während Bing und Yandex sich daran halten. In diesem Artikel lesen Sie, was die Regel genau tut, welche Suchmaschinen etwas damit anfangen und wann sie für Ihre B2B-Website Sinn ergibt. Die kurze Antwort auf den letzten Punkt lautet: fast nie.

Was Crawl-Delay genau ist

Crawl-Delay ist eine Anweisung, die Sie in Ihre robots.txt schreiben, also in die Textdatei, mit der Sie Crawlern Anweisungen geben. Die Syntax ist einfach:

User-agent: *
Crawl-delay: 10

Diese Zeile bittet jeden Crawler, der die Regel beachtet, mindestens zehn Sekunden zu warten, bevor er die nächste Seite anfordert. Der Gedanke dahinter: Ein aggressiver Bot, der Dutzende Seiten pro Sekunde abholt, kann einen schwachen Server vorübergehend lahmlegen. Mit Crawl-Delay drosseln Sie dieses Tempo.

Wichtig zu wissen: Crawl-Delay ist nie ein offizieller Webstandard geworden. Es ist eine Absprache, an die sich einige Suchmaschinen halten und andere nicht. Dadurch wirkt dieselbe Zeile bei dem einen Bot ganz anders als beim anderen.

Welche Suchmaschinen Crawl-Delay beachten

Hier steckt der Haken, und genau deshalb wird Crawl-Delay so häufig falsch eingesetzt.

Google bestätigt in seiner eigenen Dokumentation zur robots.txt, dass die Anweisung nicht unterstützt wird. Der Googlebot bestimmt sein Tempo selbst, abhängig davon, wie schnell und fehlerfrei Ihr Server antwortet. Reagiert Ihr Server langsam, drosselt Google von sich aus, um Ihre Site nicht zu überlasten.

Die praktische Schlussfolgerung: Wenn Sie ein Crawl-Delay setzen, um Google auszubremsen, passiert schlicht nichts. Google liest die Zeile gar nicht erst. Wollen Sie den Googlebot steuern, tun Sie das über Ihre Serverantwort, nicht über die robots.txt.

Warum Google sein Tempo selbst bestimmt

Google geht davon aus, dass es klüger ist, das Crawltempo dynamisch anzupassen, als sich an eine feste Zahl zu halten. Die Logik: Antwortet Ihr Server schnell und gesund, darf Google ruhig mehr Seiten je Besuch abholen. Merkt der Googlebot, dass Ihr Server langsam wird oder Fehlercodes zurückgibt, verlangsamt er von selbst. So schützt Google Ihren Server, ohne dass Sie eine Zahl einstellen müssen.

Das passt zu der Art, wie das Crawl-Budget funktioniert: Je zügiger Ihr Server antwortet, desto mehr Seiten kann Google in derselben Zeit abholen und indexieren. Ein Crawl-Delay würde genau dagegen arbeiten. Sie würden Google, wenn es die Regel denn läse, zu langsamerem Crawlen zwingen, wodurch neue oder geänderte Inhalte später in den Index gelangen. Für eine Website, die von Suchverkehr lebt, ist das das Gegenteil des Gewünschten.

Wann Crawl-Delay für B2B zählt und wann nicht

Wir sagen es lieber ehrlich vorweg: Für die überwiegende Mehrheit deutschsprachiger B2B-Websites ist Crawl-Delay überflüssig. Sie haben typischerweise einige Dutzend bis einige Hundert Seiten, keine Millionen. So viel Crawlverkehr, dass Ihr Server darunter zusammenbricht, kommt bei einer normalen Unternehmenswebsite oder Wissensdatenbank schlicht nicht vor.

In wenigen Randfällen kann die Regel nützlich sein:

• Eine sehr große Website auf schwachem, geteiltem Hosting, bei der weniger rücksichtsvolle Bots, etwa manche Analysewerkzeuge oder Scraper, Ihren Server spürbar belasten.
• Ein nachweisbarer Lastanstieg, der belegbar vom Crawlverkehr von Bing oder Yandex stammt.

Selbst dann ist Crawl-Delay meist ein Pflaster auf einem Bruch. Das eigentliche Problem ist dann Ihre Serverleistung, nicht der Crawler. Strukturell lösen Sie das besser mit Caching, einer schnelleren Hostingumgebung und dem Beseitigen schwerer Datenbankabfragen. So erhöhen Sie Ihre Auffindbarkeit, statt sie auszubremsen. Was dabei zusätzlich hilft, beschreibt der Beitrag zur Ladezeit und, für eine der verbreitetsten Plattformen, der Beitrag dazu, WordPress schneller zu machen.

Wollen Sie aggressive oder unerwünschte Bots wirklich begrenzen, arbeiten Sie gezielter mit Sperren auf Serverebene oder Firewall-Regeln als mit einem Crawl-Delay, das nur wohlmeinende Crawler überhaupt lesen. Unser SEO-Ansatz beginnt deshalb nie bei einem Crawl-Delay, sondern bei der Frage, ob Ihr Server Ihre wichtigsten Seiten schnell genug ausliefert, an Besucher wie an Crawler.

Die KI-Bots sind der eigentliche aktuelle Anlass

In der Praxis kommt die Frage nach Crawl-Delay heute selten wegen Bing auf, sondern weil KI-Crawler in den Serverlogs auffallen. Das ist eine berechtigte Beobachtung mit einer anderen Antwort.

Erstens: Ob ein KI-Crawler ein Problem ist, ist zuerst eine Lastfrage und erst danach eine strategische. Prüfen Sie in den Logs, wie viele Anfragen tatsächlich anfallen, bevor Sie handeln.

Zweitens: Wenn Sie die Zugriffe steuern wollen, tun Sie das über gezielte Anweisungen je Bot in der robots.txt oder über Regeln auf Serverebene, nicht über eine allgemeine Verzögerung. Ob Sie das überhaupt wollen, ist eine geschäftliche Entscheidung, denn ausgesperrte Bots zitieren Sie auch nicht. Die Abwägung behandelt die FAQ dazu, ob Sie KI-Bots zulassen oder blockieren sollten.

Wie Sie Ihr Crawlverhalten prüfen

Statt blind ein Crawl-Delay zu setzen, schauen Sie zuerst, was tatsächlich passiert. Die Crawling-Statistik in der Google Search Console zeigt, wie viele Seiten Google pro Tag abholt und wie Ihr Server darauf reagiert. Steigt die durchschnittliche Antwortzeit, ist das ein Signal, den Server anzugehen, nicht Google auszubremsen.

In Ihren Serverlogs sehen Sie zusätzlich, welche Bots wie viele Anfragen stellen. Erst diese beiden Quellen zusammen sagen Ihnen, ob ein Crawler ein Problem darstellt oder nicht. Der übliche Befund lautet: Der Crawlverkehr ist unauffällig, und die Antwortzeit hängt an etwas ganz anderem, meist an unoptimierten Bildern, fehlendem Caching oder einer überlasteten Datenbank.

Häufige Fehler rund um Crawl-Delay

• Crawl-Delay setzen, um Google zu bremsen. Wirkt nicht, bremst aber Bing und Yandex mit.
• Einen sehr hohen Wert wählen. Bei einem Wert von dreißig Sekunden und einigen Hundert Seiten braucht ein Crawler Stunden für einen einzigen Durchlauf. Neue Seiten werden dann spürbar später gefunden.
• Die Regel gegen Scraper einsetzen. Wer Ihre Inhalte unerlaubt abgreift, liest Ihre robots.txt ohnehin nicht.
• Sie einmal setzen und vergessen. Ein Crawl-Delay aus einem alten Hosting-Setup überlebt Relaunches und bremst Jahre später noch, ohne dass jemand weiß warum.
• Crawl-Delay mit Disallow verwechseln. Das eine bittet um Langsamkeit, das andere verbietet den Abruf. Wer eine Seite aus der Suche halten will, braucht ein anderes Werkzeug, meist eine Anweisung im Meta-Robots-Tag.

Häufige Fragen

Funktioniert Crawl-Delay bei Google?

Nein. Google ignoriert die Anweisung in der robots.txt vollständig und bestimmt sein Tempo automatisch anhand der Serverantwort. Wollen Sie den Googlebot beeinflussen, tun Sie das über die Leistung Ihres Servers, nicht über Crawl-Delay.

Welche Suchmaschinen halten sich daran?

Vor allem Bing und Yandex. Bing behandelt den Wert als Zeitfenster, Yandex als Mindestwartezeit zwischen zwei Anfragen. Kleinere Crawler halten sich mal daran und mal nicht, und ausgerechnet die Werkzeuge, die die meiste Last erzeugen, gehören häufig zur zweiten Gruppe.

Brauche ich Crawl-Delay für meine B2B-Website?

Fast nie. Die meisten B2B-Websites haben zu wenige Seiten, um einen Server zu überlasten. Sie riskieren eher, dass wichtige Seiten später aufgegriffen werden. Investieren Sie stattdessen in einen schnellen Server.

Wie setze ich es, wenn ich es trotzdem will?

Sie ergänzen in Ihrer robots.txt unter dem passenden User-Agent eine Zeile wie Crawl-delay: 10. Setzen Sie den Wert bewusst niedrig und nur für den Bot, der tatsächlich Last erzeugt, nicht für alle. Prüfen Sie danach in den Serverlogs, ob die gewünschte Wirkung eintritt, und rechnen Sie damit, dass Google die Zeile überspringt.

Schadet ein Crawl-Delay meinen Rankings?

Nicht direkt, aber indirekt. Die Regel ist kein Rankingfaktor. Sie verlangsamt jedoch, wie schnell neue oder geänderte Seiten bei den Suchmaschinen ankommen, die sich daran halten. Auf einer Website, die regelmäßig veröffentlicht, ist das ein realer Nachteil ohne erkennbaren Nutzen.

Zweifeln Sie, ob Ihre robots.txt stimmt?

Crawl-Delay ist ein kleines Detail, das häufig eingesetzt wird, um ein Problem zu lösen, das woanders sitzt. Wir schauen auf das Ganze: Antwortet Ihr Server schnell genug, werden Ihre kommerziellen Seiten zügig gecrawlt, und bringt das Anfragen statt Rauschen?

Wir sind ein kleines Team, das schnell arbeitet und Ihnen ehrlich sagt, wenn eine Einstellung nichts beiträgt. Vereinbaren Sie Ihr kostenloses Erstgespräch.