Ein Opt-out für alle: Google plant ein gemeinsames robots.txt-Signal gegen KI-Training

Die wichtigsten Fakten
- Google hat am 30. Oktober angekündigt, ein gemeinsames 'Policy-Token' in der robots.txt als Opt-out gegen KI-Training zu respektieren - anbieterübergreifend, geplant ab 2027.
- Der Token __usage_ai-training stammt aus einem individuellen IETF-Entwurf, der kein Standard ist; eine Durchsetzung ist im AIPREF-Arbeitskreis ausdrücklich nicht vorgesehen.
- Am Montag haben die New York Times und drei weitere Zeitungen Brave verklagt: Der Vorwurf lautet auf Scraping von über 30 Milliarden Seiten und Verkauf des Index an KI-Firmen.
- Beides zusammen markiert eine Verschiebung: Der Konflikt um Trainingsdaten richtet sich zunehmend gegen die Daten-Zwischenhändler, nicht nur gegen die Modellbauer.
Webseitenbetreiber, die nicht wollen, dass ihre Inhalte KI-Modelle trainieren, müssen bislang die Crawler jedes Anbieters einzeln aussperren. Google will das vereinfachen: Wie das Unternehmen am 30. Oktober im Search Central Blog ankündigte, wird es ein gemeinsames 'Policy-Token' in der robots.txt respektieren, mit dem sich Trainingspräferenzen für mehrere KI-Anbieter in einem Schritt ausdrücken lassen. Die Grundlage liefert die AIPREF-Arbeitsgruppe der Internet Engineering Task Force (IETF).
Der Plan: ein Token statt vieler Regeln
Der Mechanismus ist denkbar einfach: eine zusätzliche Gruppe in der robots.txt, deren User-Agent-Zeile das Policy-Token trägt. Der dazugehörige IETF-Entwurf definiert den Token __usage_ai-training und zeigt das vollständige Beispiel:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
So ausgedrückt wird eine Präferenz gegen KI-Training für die ganze Website - mit Ausnahme des Pfads /press-kit/. Entscheidend ist Googles Auslegungsregel: Nutzt eine Website das Token zum Opt-out und nennt Google-Extended nicht gesondert, will Google das so behandeln, als hätte die Seite Google-Extended untersagt. Bestehende anbieterspezifische Regeln funktionieren parallel weiter; Google will das Signal gemeinsam mit anderen Anbietern ab 2027 unterstützen.
Kein Standard, keine Durchsetzung
Zwei Bremsen gehören zur ehrlichen Einordnung. Erstens ist der Entwurf draft-kelley-aipref-training-preference-signal-00 ein individueller Internet-Draft, kein Dokument der Arbeitsgruppe und schon gar kein Standard - er trägt selbst den Vermerk, nicht vom IETF-Prozess gebilligt zu sein, wie der Blog Creuto herausarbeitet. Zweitens ist der Token kein Crawling-Verbot: Er drückt eine Präferenz aus, er blockiert nichts; Wildcard-Regeln (User-Agent: *) zählen ausdrücklich nicht als Token, und die technische Durchsetzung von Präferenzen ist im AIPREF-Charter ausdrücklich ausgeschlossen. OpenAI veröffentlichte am selben Tag einen eigenen Beitrag, der Websites ebenfalls Wege zur Formulierung von Trainingspräferenzen aufzeigt.
Parallel: Verlage verklagen Brave
Während die einen einen freiwilligen Ausstieg bauen, eskalieren die anderen den Rechtsweg. Die New York Times hat am Montag vor einem Bundesgericht in Manhattan Klage gegen Brave Software eingereicht, berichtet The Verge; die Daily News, die Chicago Tribune und der Orlando Sentinel reichten am selben Tag eine ähnliche Klage ein. Der Vorwurf: Brave habe mit einem Crawler, der sich nicht zu erkennen gebe, mehr als 30 Milliarden Webseiten kopiert, einen Index gebaut und KI-Unternehmen - die Klage nennt Anthropic, Perplexity, Mistral, xAI und Cohere - bezahlten Zugriff darauf verkauft.
In this way, Brave acts both like a burglar that misappropriates the content of publishers, and an AI 'fence' that sells stolen content to third parties.
Die Klage zielt außerdem auf eine Browser-Funktion, die Paywalls umgeht, und auf Braves Praxis, Verlagswerbung zu blockieren und eigene Anzeigen zu verkaufen. Eine Stellungnahme von Brave zu den Vorwürfen enthalten die Berichte nicht.
Warum das zusammengehört
Die beiden Entwicklungen markieren dieselbe Verschiebung aus entgegengesetzten Richtungen: Der Datenkonflikt wandert von den Modellherstellern zu den Zwischenhändlern, die das Web für sie erschließen - und gleichzeitig entsteht erstmals ein praktikables, anbieterübergreifendes Signal für Verlage. Google verweist in seinem Beitrag auf den EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck, der die robots.txt als primären Weg für maschinenlesbare Präferenzen anerkennt. Ob der Token 2027 wirklich branchenweit greift und ob die Klagen Index-Geschäftsmodelle treffen, entscheidet, ob aus Ankündigung und Prozess eine neue Ordnung für Trainingsdaten wird.
Häufige Fragen
Muss ich als Seitenbetreiber jetzt meine robots.txt ändern?
Zwingend nicht - Googles Unterstützung ist für 2027 geplant. Wer jetzt schon eine klare Präferenz setzen will, kann die Token-Gruppe ergänzen; die bestehenden Regeln für einzelne Crawler wie Google-Extended solltest du unbedingt behalten, da der Entwurf noch kein Standard ist.
Hat das Signal Folgen für die Google-Suche?
Nein. Google-Extended und das neue Token betreffen nur das KI-Training; sie beeinflussen laut Google weder die Aufnahme in die Suche noch das Ranking. Ein Crawling-Verbot erteilst du weiterhin über die regulären User-Agent-Regeln.
Was genau werfen die Verlage Brave vor?
Drei Dinge: das Kopieren von über 30 Milliarden Webseiten durch einen Crawler, der sich nicht zu erkennen gab; den Verkauf von Zugriff auf den Index an KI-Unternehmen wie Anthropic, Perplexity, Mistral, xAI und Cohere; sowie Browser-Funktionen zum Umgehen von Paywalls und zum Ersetzen von Verlagswerbung.
Quellen
- Supporting a shared AI training control for websites (Google Search Central Blog, abgerufen 2026-11-03)
- draft-kelley-aipref-training-preference-signal-00 (IETF Datatracker, abgerufen 2026-11-03)
- The New York Times sues Brave web browser for AI scraping and bypassing paywalls (The Verge, abgerufen 2026-11-03)
- New York Times and other outlets sue web browser Brave over alleged content scraping (TechCrunch, abgerufen 2026-11-03)
Weitere Artikel
- Grok-API bekommt unsichtbares Wasserzeichen: Ab 7. November standardmäßig aktiv
- OpenAI verschärft Gewalt-Schutz: ChatGPT beendet fixierte Chats und sperrt Waffen-Details für Teens
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.