Robots.txt
Eine Textdatei im Wurzelverzeichnis Ihrer Website, die Crawlern sagt, welche Teile sie besuchen dürfen und welche nicht.
Von Tanguy De Keyzer · Gründer und digitaler Strateg
Robots.txt ist eine einfache Textdatei im Wurzelverzeichnis Ihrer Domain, die Suchmaschinen-Crawlern vorgibt, welche Teile Ihrer Website sie besuchen dürfen und welche nicht.
Was macht die robots.txt?
Wenn ein Crawler Ihre Website besucht, liest er zuerst ihrewebsite.de/robots.txt, um zu sehen, welche Regeln gelten. Mit Disallow halten Sie Bots von Ordnern oder Seiten fern, zum Beispiel internen Suchergebnissen, Verwaltungsbereichen oder doppelten Filterseiten. Das schützt Ihr Crawl-Budget und verhindert, dass Google Zeit an unwichtigen URLs verliert. Sie können darin auch Ihre Sitemap nennen, damit Crawler Ihre wichtigen Seiten schneller finden.
Ein wichtiges Missverständnis
Die robots.txt blockiert das Crawling, nicht die Indexierung. Eine über robots.txt blockierte Seite kann trotzdem in Google erscheinen, wenn Links auf sie zeigen, nur ohne dass Google den Inhalt sieht. Wenn Sie eine Seite wirklich aus den Suchergebnissen halten wollen, nutzen Sie einen Meta-Robots-Tag mit noindex auf einer crawlbaren Seite. Beides zu verwechseln ist einer der häufigsten Fehler und kann Ihre Indexierung leicht sabotieren.
Robots.txt nach unserem Verständnis
Eine falsche kleine Regel in der robots.txt kann eine ganze Website aus Google verschwinden lassen, deshalb behandeln wir diese Datei mit Sorgfalt. Für B2B-Kunden nutzen wir sie gezielt, um Crawler zu den Seiten zu lenken, die Leads und Umsatz erzeugen, und weg vom Rauschen.
Siehe auch
Von der Theorie zum Wachstum.
Wir machen aus Robots.txt messbare Ergebnisse für Ihr Unternehmen.