Wachstum · Fortgeschritten
KI-Crawler und robots.txt: erlauben oder sperren, und was jeweils passiert
Ein paar Zeilen in einer Textdatei entscheiden, ob KI-Assistenten Ihre Website lesen dürfen. Viele Unternehmen haben sich diese Zeilen nie angesehen, und manche sperren Crawler, ohne es zu wissen.
Foto: Nilo Velez, gemeinfrei (CC0)
In diesem Ratgeber
Kurz gesagt
Wenn KI-Assistenten Ihr Unternehmen nennen und zitieren sollen, erlauben Sie deren Crawler; wenn Sie sie sperren, fallen Sie aus ihren Antworten heraus. Crawler, die Trainingsdaten sammeln, und Crawler, die Seiten für Live-Antworten abrufen, haben verschiedene Namen; Sie können also die erste Art sperren und die zweite erlauben. Die robots.txt ist eine Bitte, kein Schloss.
Was ist die robots.txt, und was ist sie nicht?
Sie ist eine öffentliche Textdatei mit Bitten an Crawler, und nichts setzt sie durch. Die Datei liegt auf der obersten Ebene einer Website, unter /robots.txt, und sagt Crawlern, welche Adressen sie nicht abrufen sollen. Crawler, die sich an die Regeln halten, lesen sie zuerst und befolgen sie. Ein Crawler, der sie ignoriert, trifft auf keine technische Hürde.
Die robots.txt ist also kein Mittel, vertrauliche Seiten zu schützen: Jeder kann die Datei lesen, und sie verhindert keinen Zugriff. Was privat bleiben muss, gehört hinter ein Login.
Crawler melden sich mit einem Namen an, dem User-Agent, der mit jeder Anfrage gesendet wird. Die Regeln in der robots.txt werden pro Name geschrieben.
Welche KI-Crawler gibt es?
Es gibt zwei Arten, und der Unterschied entscheidet, was eine Sperre Sie kostet. Manche Crawler sammeln Seiten, die zum Trainieren von Modellen verwendet werden können. Andere rufen Seiten ab, um eine Frage zu beantworten, die jemand gerade stellt, und diese Antworten zeigen Ihre Seite als Quelle.
| Name in der robots.txt | Betreiber | Zweck |
|---|---|---|
| GPTBot | OpenAI | Sammelt Seiten, die zum Trainieren von Modellen verwendet werden können |
| OAI-SearchBot | OpenAI | Findet Seiten für Suchantworten in ChatGPT |
| ChatGPT-User | OpenAI | Ruft eine Seite ab, wenn die Anfrage eines Nutzers es verlangt |
| ClaudeBot | Anthropic | Sammelt Seiten, die zum Trainieren von Modellen verwendet werden können |
| PerplexityBot | Perplexity | Findet Seiten für die Suchantworten von Perplexity |
| Google-Extended | Kein Crawler: ein Token, das die Nutzung für Googles KI-Modelle steuert | |
| Bingbot | Microsoft | Der Crawler des Bing-Suchindex |
Google-Extended ist ein Name, mit dem Sie in der robots.txt sagen können, ob Seiten für Googles KI-Modelle verwendet werden dürfen. Er hat keinen Einfluss darauf, ob eine Website in der Google-Suche erscheint. Bingbot steht in der Liste, weil er ein gewöhnlicher Such-Crawler ist, der manchmal versehentlich zusammen mit den anderen gesperrt wird.
Die Liste ist nicht vollständig, und sie ändert sich. Die Betreiber dokumentieren ihre Crawler auf ihren eigenen Websites, und dort schlagen Sie Namen zuverlässig nach.
Wie sehen die Regeln aus?
Eine Regel ist ein Zeilenpaar: ein Name, dann das, was dieser Name nicht abrufen soll. Jede Zeile unten ist eine Zeile der Datei.
Das erste Beispiel lässt jeden Crawler die ganze Website lesen, bis auf einen Ordner:
User-agent: *
Disallow: /internal/
Das zweite bittet zwei Trainings-Crawler, der ganzen Website fernzubleiben, und lässt jeden anderen Crawler, auch die antwortenden, unberührt:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Ein Crawler, der nicht genannt ist und keine allgemeine Regel findet, darf alles lesen. Ein Detail führt zu Fehlern: Ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, befolgt nur diese Gruppe und ignoriert die allgemeine unter dem Stern. Wenn Sie eine Gruppe für einen Crawler ergänzen, wiederholen Sie darin alle allgemeinen Regeln, die für diesen Crawler weiter gelten sollen.
Sollten Sie KI-Crawler erlauben oder sperren?
Für ein Unternehmen, das etwas verkauft, ist es fast immer richtig, die antwortenden Crawler zu erlauben, und die Trainings-Crawler sind eine Ermessensfrage. Ein Assistent kann nur eine Seite zitieren, die er abrufen durfte.
| Wahl | Was passiert | Für wen sie passt |
|---|---|---|
| Alles erlauben | Seiten können in Live-Antworten zitiert und im Training verwendet werden | Unternehmen, deren Inhalte dazu da sind, Kunden zu gewinnen |
| Training sperren, Antworten erlauben | Seiten können weiter zitiert werden; Sie bitten darum, nicht für das Training verwendet zu werden | Verlage und Unternehmen mit teuren eigenen Inhalten |
| Alles sperren | Sie fallen aus den Antworten der Crawler heraus, die sich daran halten; bereits Gesammeltes wird nicht entfernt | Websites, die nicht gefunden werden sollen |
| Einzelne Ordner sperren | Der Rest bleibt sichtbar; die Ordner werden nicht abgerufen | Jede Website mit Bereichen, die Außenstehenden nichts nützen |
Wo verstecken sich Sperren?
Sie verstecken sich an vier Stellen, und die robots.txt ist nur die sichtbare. Wir haben Websites gefunden, die Such- und KI-Crawler jahrelang auf Serverebene gesperrt hatten, ohne dass der Inhaber es wusste. Eine solche Regel wird typischerweise als vorübergehende Maßnahme eingefügt und dann vergessen.
- robots.txt: Öffnen Sie sie im Browser und lesen Sie jede Zeile.
- Eine Firewall oder ein Sicherheits-Plugin: Viele haben einen Schalter „Bots sperren“ oder eine Namensliste.
- Der Hosting-Anbieter: Manche sperren oder bremsen Crawler für alle Kunden eines Servers.
- Die .htaccess-Datei oder die Serverkonfiguration: Regeln, die Anfragen nach User-Agent abweisen.
Wie prüfen Sie Ihre eigene Website?
Sie rufen eine Seite unter dem Namen des Crawlers ab und sehen sich den Statuscode der Antwort an. Ein Werkzeug wie curl kann jeden beliebigen User-Agent senden. Zum Beispiel:
curl -I -A “GPTBot” https://www.example.com/
- Die robots.txt lesenÖffnen Sie /robots.txt auf jeder Domain und Subdomain, die Sie nutzen. Jeder Host hat seine eigene Datei.
- Eine Seite als Crawler abrufenSenden Sie eine Anfrage mit dem Namen des Crawlers als User-Agent, einmal für jeden Namen, der Ihnen wichtig ist.
- Den Statuscode lesen200 heißt, die Seite wurde ausgeliefert. 403 heißt, etwas hat die Anfrage abgewiesen. Eine Prüfseite oder eine Zeitüberschreitung heißt, ein Filter hat eingegriffen.
- Mit einem Browser vergleichenRufen Sie dieselbe Seite mit dem User-Agent eines gewöhnlichen Browsers ab. Wenn das klappt und der Crawler-Name scheitert, sperrt eine Regel nach Namen.
- In die Serverlogs sehenDurchsuchen Sie das Zugriffslog nach den Crawler-Namen. Echte Besuche mit Status 200 sind der beste Beweis.
Der Test hat eine Grenze: Er zeigt nur Regeln, die nach dem Namen gehen. Eine Firewall kann auch nach der Adresse urteilen, von der eine Anfrage kommt; die Logs bleiben deshalb die letzte Kontrolle. Eine Sperre in der robots.txt dagegen zeigt sich nie im Statuscode. Der Server würde die Seite ausliefern, und der Crawler entscheidet sich, nicht zu fragen.
So machen wir es
Wir lesen die robots.txt, testen jeden Host unter den Crawler-Namen und gehen die Regeln von Firewall, Hosting und Server mit denen durch, die sie betreiben. Sperren, die niemand beschlossen hat, entfernen wir, und die gewollten schreiben wir auf, mit dem Grund. Was die Crawler finden, wenn sie einmal hereingelassen sind, ist Thema der Suchmaschinenoptimierung.
Manche Websites veröffentlichen außerdem eine Datei namens llms.txt, eine schlichte Zusammenfassung der Website für KI-Systeme. Das ist eine aufkommende Konvention, kein Standard, und kein Betreiber garantiert, dass sie gelesen wird. Serverregeln und Sperren gehören zu dem, was wir im Managed Hosting im Blick behalten.
Fragen, die wir oft hören
Möchten Sie das erledigt haben, ohne es selbst zu tun?
Erzählen Sie uns, woran Sie arbeiten. Innerhalb eines Werktags antwortet Ihnen ein Mensch.