KI-Training sperren: Was das neue robots.txt-Signal wirklich kann
02. November 2026
KI-generiert, redaktionell von 8thsense ausgewählt, geprüft und freigegeben. EU AI Act, Art. 50
Wer nicht möchte, dass die Texte der eigenen Website in das Training von KI-Modellen einfließen, musste bisher für jeden Anbieter eigene Regeln pflegen. Das soll sich ändern: Google, Microsoft, OpenAI und Anthropic wollen ein gemeinsames Signal in der robots.txt respektieren, mit dem Websites dem KI-Training widersprechen. Der Entwurf liegt seit dem 30. Oktober 2026 bei der Internet Engineering Task Force (IETF), Google will ihn 2027 unterstützen. Für Geschäftsführer stellt sich damit eine ganz praktische Frage: Setzen wir den Eintrag, und was kostet uns das an Sichtbarkeit?
Ein Token für alle Anbieter
Technisch ist das Signal unspektakulär, und genau das ist seine Stärke. Es führt keine neue Syntax ein, sondern nutzt die bekannte robots.txt mit einem sogenannten Policy-Token namens __usage_ai-training. Der Entwurf stammt von Kevin Kelley von Anthropic und trägt den Titel „Machine-Readable Training Preference Signal” (Quelle: datatracker.ietf.org). Google kündigte im Search-Central-Blog an, das Signal gemeinsam mit anderen KI-Anbietern im Jahr 2027 zu unterstützen. Damit könnten Websites ihre Präferenz „über mehrere KI-Anbieter hinweg in einem einzigen Schritt” ausdrücken (Quelle: developers.google.com). Laut Search Engine Roundtable nennt Googles Crawler-Dokumentation inzwischen „Anfang 2027″ als Ziel (Quelle: seroundtable.com).
Ein Eintrag, der das Training für die ganze Website ablehnt und nur einen Pressebereich freigibt, sieht laut Entwurf so aus:
Wichtig für alle, die schon eine robots.txt pflegen: Eine allgemeine Regel mit User-Agent: * zählt ausdrücklich nicht als Treffer für dieses Token. Wer das Signal setzen will, braucht einen eigenen Block.
Wer wann mitmacht
Ganz einheitlich ist der Fahrplan nicht. Google hat seine Unterstützung selbst angekündigt und nennt 2027. Für die übrigen Anbieter stützen sich die Angaben bisher auf Berichte: Laut The Verge, zitiert nach aiweekly, setzt Anthropic das Signal bereits um, OpenAI will es „in den kommenden Monaten” einführen, und Microsoft plant den Start für Februar 2027 zusammen mit einer separaten Einstellung für das sogenannte Grounding, also die Nutzung von Inhalten in KI-Antworten (Quelle: aiweekly.co). Search Engine Roundtable schreibt etwas vorsichtiger, Bing, OpenAI und Anthropic hätten „ähnliche Schritte” unternommen. Eigene, ausführliche Ankündigungen von Microsoft und OpenAI lagen bei Redaktionsschluss nicht vor.
Was das Signal nicht leistet
Der Eintrag klingt nach einem Schutzschild, ist aber eine Willenserklärung. Mehrere Einschränkungen sollten Unternehmen kennen, bevor sie sich darauf verlassen:
Kein Crawling-Verbot: Der Entwurf betont, dass es sich nicht um eine Crawling-Anweisung handelt. Bots dürfen Seiten weiterhin abrufen.
Keine Rückwirkung: Maßgeblich ist die robots.txt zum Zeitpunkt des Abrufs. Was bereits in Trainingsdaten oder fertigen Modellen steckt, wird nicht gelöscht.
Nur Training: Gemeint ist das Verändern der Parameter generativer KI-Modelle. Modelle für Klassifikation, Ranking oder Bewertung sind ausgenommen.
Verträge gehen vor: Private Vereinbarungen können die Präferenz überstimmen.
Kein fertiger Standard: Es handelt sich um einen individuellen Entwurf, den die IETF ausdrücklich nicht billigt. Nate Hake, der an der Diskussion beteiligt ist, verweist laut Search Engine Roundtable auf erhebliche offene Streitpunkte, etwa die Ausnahme für vom Nutzer ausgelöste Aktionen.
Hinzu kommt: Wer sich nicht an die robots.txt hält, wird durch das Token nicht aufgehalten. Seriöse Anbieter respektieren es, unseriöse Scraper nicht.
Der Haken bei Google: Gemini und Grounding
Für die Entscheidung ist ein Detail aus Googles Ankündigung zentral. Setzt eine Website das gemeinsame Token, ohne Google-Extended eigens zu erwähnen, behandelt Google das so, als hätte der Betreiber Google-Extended gesperrt. Nur Websites, die Google-Extended ausdrücklich erlauben, können laut Google weiterhin in Gemini-Antworten mit Quellenbezug erscheinen und darüber Klicks erhalten. Die bestehenden anbieterspezifischen Regeln funktionieren parallel weiter, man kann also grob sperren und einzelne Anbieter gezielt freigeben. Zur klassischen Google-Suche und den AI Overviews sagt der Blogbeitrag nichts. Für generative KI in der Suche gibt es laut Search Engine Roundtable eine separate Einstellung in der Search Console.
Was das für Unternehmen bedeutet
Für die meisten mittelständischen Betriebe ist die Frage weniger „sperren oder nicht”, sondern „welche Inhalte wofür”. Ein Pflegedienst, eine Tanzschule oder ein Handwerksbetrieb lebt davon, gefunden zu werden, auch in KI-Assistenten. Hier spricht wenig dafür, alles zu sperren. Anders sieht es bei Fachverlagen, Agenturen mit eigenen Leitfäden oder Therapiepraxen mit ausführlichen Ratgebertexten aus: Deren Inhalte sind das Produkt, ein Training-Opt-out für diese Bereiche kann sinnvoll sein, während Kontakt- und Leistungsseiten offen bleiben.
Pragmatisch starten heißt: die eigene robots.txt prüfen, die wertvollen Inhaltsbereiche benennen und dann bewusst entscheiden, ob Google-Extended zusätzlich erlaubt bleiben soll. Der Aufwand ist gering, typischerweise eine Stunde für jemanden, der die Website technisch betreut. Tückischer ist das Zusammenspiel: CMS-Plugins, CDN-Einstellungen, Bings eigene Steuerung und die Search Console greifen ineinander, und eine gut gemeinte Regel kann an anderer Stelle Sichtbarkeit kosten. Wer ohnehin klären will, wo Künstliche Intelligenz im eigenen Betrieb nützt und wo die eigenen Daten geschützt werden sollten, kann die robots.txt-Frage gut in einen KI-Potenzial-Check einbinden. Bis 2027 bleibt Zeit, aber die Entscheidung sollte vorher bewusst fallen und nicht nach dem Zufallsprinzip.