Eine robots.txt-Regel zählt praktisch erst in der Fassung, die am richtigen Host tatsächlich ausgeliefert wird. Prüfen Sie deshalb öffentliche Antwort, Weiterleitungen und mögliche vorgelagerte Kopien. Eine intern gespeicherte korrekte Datei belegt noch nicht denselben Zustand hinter CDN oder Cache.
Den tatsächlichen Geltungsbereich festhalten
robots.txt gehört an die dafür vorgesehene Adresse des konkreten Hosts. Unterschiedliche Subdomains oder Protokollvarianten sind nicht automatisch durch eine irgendwo vorhandene Datei identisch gesteuert. Erfassen Sie die öffentlich genutzten Einstiegsadressen und kontrollieren Sie, welche tatsächliche Antwort dort ausgeliefert wird.
Eine vorhandene Regel auf der Hauptdomain belegt beispielsweise nicht automatisch den Zustand einer getrennten Anwendungssubdomain. Prüfen Sie nur die tatsächlich eigenen und vorgesehenen Hosts. Vermeiden Sie großflächige Regeländerungen auf Verdacht, insbesondere wenn mehrere Anwendungen denselben technischen Unterbau verwenden.
Weiterlesen: Crawling steuern: robots.txt und Zugriff unterscheiden
Gespeicherte Datei und ausgelieferte Kopie vergleichen
Ein CDN oder Cache kann eine andere Fassung liefern als die intern zuletzt gespeicherte Datei. Diese Möglichkeit ist zunächst eine prüfbare Hypothese. Vergleichen Sie Inhalt, Zeitpunkt und vorhandene Antwortmerkmale, statt jeden Unterschied sofort einem Cache zuzuschreiben. Auch falscher Zielordner, anderer Host oder eine Weiterleitung kann die Ursache sein.
robots.txt steuert Crawling, ist aber weder Zugangsschutz noch eine verlässliche alleinige Indexierungssperre. Behalten Sie diese Aufgabe bei jeder Korrektur bei. Das Entfernen einer Crawlsperre darf nicht mit der Freigabe vertraulicher Inhalte oder dem Abschalten einer bestehenden Zugriffskontrolle verwechselt werden.
Die passende Grundlage erläutert Serverlogs für SEO-Fragen auswerten.
Weiterlesen: Serverlogs für SEO-Fragen auswerten
Entscheidungen am konkreten Befund festmachen
| Prüffall | Entscheidung und Nachweis |
|---|---|
| Interne Datei korrekt, öffentliche anders | Host, Veröffentlichungspfad und vorgeschaltete Ausgabe vergleichen. |
| Subdomain separat betrieben | Eigenen tatsächlichen robots.txt-Zustand prüfen. |
| Regelpräfix sehr allgemein | Erlaubte Gegenbeispiele vor Freigabe testen. |
| Vertraulicher Inhalt betroffen | Zugriffsschutz separat erhalten; robots.txt ist kein Schutzmechanismus. |
Den öffentlichen Regelstand als eigene Fassung sichern
Speichern Sie konkrete Hostadresse, Zeitpunkt, Status und tatsächlichen Text der robots.txt-Antwort. Ergänzen Sie die intern vorgesehene Fassung und dokumentierte Unterschiede. Kontrollieren Sie für das geänderte Präfix einen gesperrten und einen erlaubten Beispielpfad. Eine nachvollziehbare Abnahme lautet nicht „Datei gespeichert“, sondern „diese öffentliche Fassung am richtigen Host gelesen und ihre beabsichtigte Regelwirkung geprüft“. Behalten Sie mögliche vorgelagerte Auslieferung und tatsächliche Zugangskontrollen getrennt. Keine dieser Beobachtungen rechtfertigt allein das Abschalten einer Schutzfunktion oder eine Behauptung sofortiger Google-Verarbeitung.
Praxisfall: neue Regel am falschen Ziel geprüft
Ein fiktives Team korrigiert eine robots.txt-Datei im Verwaltungsbereich. Die öffentliche Hauptadresse zeigt weiterhin eine andere Fassung. Statt die Regel mehrfach umzuschreiben, vergleicht das Team Host, Dateiablage und tatsächlichen Antwortweg. Dabei kann sich sowohl ein Veröffentlichungsfehler als auch eine veraltete vorgeschaltete Kopie zeigen.
Erst nach dieser Eingrenzung wird die passende bestehende Aktualisierungsmöglichkeit genutzt. Die öffentlich abgerufene Datei wird erneut gesichert und mit erlaubten sowie betroffenen Beispieladressen fachlich geprüft. Eine interne Erfolgsmeldung allein gilt nicht als Abnahme der öffentlichen Fassung.
Regeln mit erlaubten Gegenbeispielen abnehmen
Testen Sie für jedes geänderte Muster mindestens einen beabsichtigt betroffenen und einen beabsichtigt erlaubten Pfad. Besonders allgemeine Präfixe können mehr erfassen als erwartet. Prüfen Sie zudem, ob wichtige Ressourcen für das tatsächliche Rendern einer Seite zugänglich bleiben sollen.
Dokumentieren Sie die veröffentlichte Fassung und den Prüfumfang. Die spätere Verarbeitung durch einen Crawler ist ein weiterer Schritt; behaupten Sie keine sofortige Übernahme. Wenn der Abruf einen Fehler liefert, muss dieser Zustand selbst untersucht werden. Eine leere oder fehlerhafte Antwort ist keine gleichwertige Bestätigung der gewünschten Regeln.
Die passende Grundlage erläutert Crawling steuern: robots.txt und Zugriff unterscheiden.
Begriffe zu diesem Thema im Glossar nachschlagen →
Häufige Fragen.
Gilt eine robots.txt automatisch für alle Subdomains?
Nein. Prüfen Sie den konkreten Host und dessen tatsächliche Auslieferung. Eine Datei auf der Hauptdomain belegt nicht automatisch die Regeln einer getrennt betriebenen Anwendungssubdomain.
Beweist eine gespeicherte Datei den öffentlichen Zustand?
Nein. Veröffentlichungspfad, Host und vorgelagerte Auslieferung können abweichen. Die Abnahme muss die tatsächlich öffentlich erreichbare robots.txt-Fassung und ihre beabsichtigten Regeln kontrollieren.
Ist bei unterschiedlichen Fassungen immer der Cache schuld?
Nein. Auch eine falsche Ablage, ein anderer Host oder ein abweichender Antwortweg kann verantwortlich sein. Behandeln Sie Cachewirkung als prüfbare Hypothese statt als vorschnelle Ursache.
Kann robots.txt vertrauliche Inhalte schützen?
Nein. Es ist eine Crawling-Anweisung und keine Zugangskontrolle. Vertrauliche Informationen benötigen geeigneten Zugriffsschutz; dessen Regeln dürfen nicht beiläufig als SEO-Maßnahme abgeschwächt werden.
Welche Gegenbeispiele sollte ich testen?
Prüfen Sie beabsichtigt gesperrte und ausdrücklich erlaubte Pfade sowie benötigte Ressourcen. So erkennen Sie, ob ein allgemeines Muster versehentlich hilfreiche Seiten oder deren Darstellung betrifft.
Ist eine korrigierte robots.txt sofort bei Google wirksam?
Das lässt sich nicht pauschal zusagen. Prüfen Sie zuerst die eigene tatsächliche Ausgabe und beobachten Sie spätere Abrufe separat, statt Veröffentlichung und Verarbeitung gleichzusetzen.
Wissen anwenden.
SEO-Ausgangslage und nächsten Schritt besprechenQuellen und Einordnung.
Produktangaben nach öffentlich verfügbaren Informationen; Quellenstand 13.11.2026. Beispiele sind im Text gekennzeichnet.
Wissen weitergeben.
