KI-Pulse
Praxis

Ein Opt-out für alle: Was der geplante robots.txt-Policy-Token für deine Website bedeutet

Von , Redaktion Intelligenz Welt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 4 Min. Lesezeit

Artikel teilen
KI-generierte Illustration: eine stilisierte Eingangstür mit einem Schild, davor mehrere kleine Roboter, die artig in einer Reihe warten, dunkelblaue Szene ohne Menschen und ohne lesbare Schrift
Symbolbild, KI-generiert (Intelligenz Welt).

Die wichtigsten Fakten

Kurz gesagt: Wer heute verhindern will, dass KI-Firmen die eigene Website fürs Training auslesen, pflegt eine Liste einzelner Crawler-Regeln - pro Anbieter eine. Ein gemeinsamer Standard soll das auf einen Eintrag reduzieren. Google hat am 30. Oktober als Erster der vier beteiligten Konzerne konkret beschrieben, wie es das künftige gemeinsame Signal interpretieren wird.

Was genau angekündigt wurde

Die Ankündigung bündelt sich in Googles Search-Central-Blog (30. Oktober, verfasst von Search Advocate John Mueller): Website-Betreiber sollen statt getrennter Anweisungen für jeden KI-Entwickler ein gemeinsames Policy-Token in der robots.txt nutzen können, das bei allen teilnehmenden Anbietern gilt. Die anbieterspezifischen Regeln bleiben bestehen - wer will, setzt also weiter Feinsteuerung pro Anbieter obendrauf. Google betont außerdem: Websites, die Google-Extended ausdrücklich erlauben, bleiben berechtigt, in den Gemini-Apps über Grounding in Antworten aufzutauchen und Klicks zu bekommen - ein Anreiz, Training und Sichtbarkeit getrennt zu steuern.

Der Vorschlag kommt nicht aus dem Nichts: Er greift die Trainings-Definition auf, die in der IETF-Arbeitsgruppe AIPREF erarbeitet wurde, während am Rest des AIPREF-Vokabulars noch diskutiert wird. Google verweist außerdem darauf, dass der Entwurf zum EU-Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) unter dem EU-AI-Act passt - der robots.txt als primären Weg für maschinenlesbare Präferenzen anerkennt.

Wer macht ab wann mit

Was du heute tun solltest

Kurzfristig: nichts. Das Token existiert als Entwurf, die endgültige Syntax ist noch nicht veröffentlicht. Wer jetzt aussperren will, nutzt die bestehenden Einzel-Regeln - etwa Google-Extended für Google oder die entsprechenden Tokens der anderen Anbieter. Mittelfristig lohnt es sich, die eigene robots.txt-Strategie zu ordnen: Soll das Opt-out pauschal für alle gelten, dann wird der gemeinsame Eintrag später reichen. Willst du einzelne Anbieter unterschiedlich behandeln - etwa Training verbieten, aber in KI-Suchantworten sichtbar bleiben -, brauchst du weiter die Einzel-Tokens, denn der gemeinsame Standard deckt nur die Trainingsfrage ab.

Zwei Grenzen solltest du kennen: Erstens ist das Token ein Höflichkeits-Standard - es bindet nur Anbieter, die mitmachen; Crawler, die robots.txt grundsätzlich ignorieren, stoppt es nicht (dafür sind Ansätze wie Cloudflares standardmäßiges Blockieren von KI-Crawlern gedacht). Zweitens regelt es Nutzungspräferenzen, keine Vergütung - wer Crawler zur Kasse bitten will, schaut auf parallele Initiativen wie Really Simple Licensing (RSL).

Einordnung

Häufige Fragen

Muss ich meine robots.txt jetzt ändern?

Nein. Das gemeinsame Token ist ein Entwurf ohne finale Syntax; Googles Umsetzung ist für 2027 angekündigt. Bestehende anbieterspezifische Regeln funktionieren weiter und bleiben auch dann gültig.

Sperrt das Token auch die klassische Google-Suche aus?

Nein. Es geht um KI-Training. Microsoft betont ausdrücklich, dass Websites unabhängig von ihrer Präferenz weiter in Bing erscheinen; Google trennt die Trainingssperre (Google-Extended) schon heute von der Suchsichtbarkeit.

Gilt das Opt-out dann für alle KI-Firmen weltweit?

Nur für die, die den Standard unterstützen. Anthropic unterstützt das Signal bereits; Google und Microsoft haben die Umsetzung für 2027 angekündigt, OpenAI spricht von den kommenden Monaten; eine verbindliche Zusage von Meta steht aus. Crawler außerhalb des Standards respektieren das Token nicht zwingend.

Quellen

  1. Supporting a shared AI training control for websites (Google Search Central Blog, abgerufen 2026-11-01)
  2. The biggest names in AI are backing a new way to opt out of scraping (The Verge, abgerufen 2026-11-01)
  3. Google, Microsoft, OpenAI and Anthropic back one AI training opt-out (The Next Web, abgerufen 2026-11-01)

Weitere Artikel

Artikel teilen

Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.