robots.txt

Wie ist eine robots.txt aufgebaut?

Eine robots.txt ist eine einfache Textdatei mit Gruppen von Regeln. Jede Gruppe nennt zuerst einen Crawler und danach die Pfade, die er abrufen darf oder nicht. Die Datei liegt immer im Stammverzeichnis, also unter /robots.txt der jeweiligen Domain oder Subdomain.

• User-agent. Nennt den Crawler, für den die Gruppe gilt, etwa Googlebot. Das Sternchen gilt für alle Crawler, die keine eigene Gruppe haben.
• Disallow. Sperrt einen Pfad, etwa den Warenkorb.
• Allow. Gibt einen Pfad innerhalb eines gesperrten Bereichs wieder frei.
• Sitemap. Verweist mit der vollständigen Adresse auf die XML-Sitemap.

So sieht eine kurze robots.txt aus.

User-agent: *
Disallow: /warenkorb/
Disallow: /mein-konto/

User-agent: GPTBot
Disallow: /

Sitemap: https://www.beispiel-shop.de/sitemap.xml

Alle Crawler dürfen den Shop lesen, gesperrt sind nur Warenkorb und Kundenkonto. GPTBot, der Trainings-Crawler von OpenAI, darf nichts abrufen. Passen mehrere Regeln auf eine URL, gilt laut Standard die spezifischste, also die mit dem längsten Pfad.

Welcher Standard gilt für die robots.txt?

Seit September 2022 ist die robots.txt als RFC 9309 der Internet Engineering Task Force (IETF) standardisiert. Der Standard beschreibt und erweitert das Verfahren, das Martijn Koster 1994 eingeführt hat. Drei Regeln daraus sind für Websites wichtig.

• Fehlende Datei. Antwortet der Server beim Abruf der Datei mit einem Fehler der 400er-Gruppe, etwa 404, dürfen Crawler alle Seiten abrufen.
• Serverfehler. Ist die Datei wegen eines Serverfehlers nicht erreichbar, müssen Crawler die gesamte Website als gesperrt behandeln.
• Zwischenspeicher. Crawler sollen eine gespeicherte Fassung der Datei höchstens 24 Stunden lang verwenden.

Der Standard stellt außerdem fest, dass die Regeln keine Zugriffskontrolle sind. Googlebot und andere seriöse Crawler halten sich daran, verpflichtet sind Crawler laut Google nicht. Vertrauliche Bereiche schützen Sie deshalb mit Passwort oder Login.

Verhindert die robots.txt, dass eine Seite bei Google erscheint?

Nein, die robots.txt steuert nur das Crawlen. Eine gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Websites auf sie verweisen. Google zeigt sie dann ohne Beschreibung an.

Um eine Seite aus dem Index herauszuhalten, nennt Google das Meta-Tag noindex oder einen Passwortschutz. Damit noindex wirkt, darf die Seite in der robots.txt nicht gesperrt sein. Sonst sieht der Crawler die Anweisung nie, und die URL kann im Index bleiben.

Wie steuern Sie KI-Crawler mit der robots.txt?

Die großen KI-Anbieter nennen in ihrer Dokumentation eigene Crawler und trennen dabei zwischen Modelltraining und Suche. Sie können so das Training ausschließen und in den Suchfunktionen der KI-Assistenten sichtbar bleiben.

Abrufe, die eine Person im Chat auslöst, behandeln die Anbieter unterschiedlich. Für ChatGPT-User gelten die Regeln laut OpenAI unter Umständen nicht, Perplexity-User ignoriert sie laut Perplexity in der Regel. Anthropic gibt an, dass seine Crawler die robots.txt beachten.

Bei Google ist Google-Extended ein reines Steuerzeichen ohne eigenen Crawler. Es legt fest, ob Google Inhalte für das Training künftiger Gemini-Modelle und als Quelle für Antworten in Gemini (Grounding) nutzen darf, und wirkt laut Google nicht auf die Google-Suche. Die KI-Übersichten steuern Sie über die Regeln für Googlebot und Angaben wie nosnippet.

Eine llms.txt ändert an diesen Regeln nichts, wie der Eintrag zu llms.txt zeigt. Was Sperren für Nennungen in KI-Antworten bedeuten, erklärt GEO.

Typische Fehler in der robots.txt

• Sperre aus der Testumgebung übernommen. Nach einem Relaunch bleibt Disallow: / stehen, und Google crawlt die neue Website nicht.
• CSS- und JavaScript-Dateien gesperrt. Google rät davon ab, solche Dateien zu sperren, wenn der Crawler die Seite ohne sie schlechter versteht.
• robots.txt mit noindex verwechselt. Gesperrte Seiten können im Index bleiben, weil Google die noindex-Angabe nicht sieht.
• KI-Crawler pauschal ausgesperrt. Wer alle KI-Bots sperrt, sperrt auch OAI-SearchBot. Solche Seiten zeigt ChatGPT laut OpenAI nicht in Suchantworten.

So prüfen Sie Ihre robots.txt

1. Rufen Sie die Datei in einem privaten Browserfenster auf und prüfen Sie, ob sie öffentlich erreichbar ist.
2. Kontrollieren Sie im robots.txt-Bericht der Search Console, ob Google die Datei abrufen konnte und welche Warnungen es gibt.
3. Testen Sie wichtige Seiten mit dem URL-Prüftool.
4. Beantragen Sie nach einer Korrektur im robots.txt-Bericht ein erneutes Crawlen der Datei.

Die robots.txt gehört in der SEO-Beratung zum technischen Teil, den wir in jedem Website- und Relaunch-Audit prüfen.