Was haben OpenAI, Google und Microsoft angekündigt?
OpenAI schreibt, das Unternehmen werde ein gemeinsames Signal in robots.txt respektieren, mit dem Websites ihre Präferenz zur Nutzung ihrer Inhalte für grundlegendes generatives KI-Training ausdrücken. Bisher mussten Betreiber einzelne Crawler identifizieren und für jeden Anbieter eigene Regeln pflegen. Google spricht von einem gemeinsamen Policy-Token, mit dem Betreiber in einem Schritt Präferenzen für mehrere teilnehmende Anbieter setzen. Microsoft beschreibt eine gemeinsame AI-Training-Präferenz, die auf der Arbeit der IETF-Arbeitsgruppe AI Preferences aufbaut.
Den technischen Rahmen beschreibt der Internet-Draft Machine-Readable Training Preference Signal. Als Autor ist Kevin Kelley von Anthropic genannt, der Draft läuft am 3. Mai 2027 aus und ist noch kein fertiger Standard. Eine eigene Ankündigung von Anthropic zur Umsetzung haben wir bis zum Prüfzeitpunkt nicht gefunden. Die Hilfeseite von Anthropic nennt weiterhin die Steuerung über User-agent: ClaudeBot.
Wie sieht der Eintrag in robots.txt aus?
Der Token heißt __usage_ai-training, mit zwei Unterstrichen am Anfang, und steht dort, wo sonst ein Crawler-Name steht. Darunter folgen die bekannten Regeln Allow und Disallow für Pfade. Microsoft zeigt diese Varianten:
Laut Draft darf User-Agent: * nicht als Treffer für den Token gelten. Wer nichts einträgt, hat keine Präferenz ausgedrückt. Regeln für einzelne Crawler wie ClaudeBot oder GPTBot behalten ihre Bedeutung für das Crawling.
- Ganze Website: User-Agent: __usage_ai-training und darunter Disallow: /
- Einzelner Pfad: User-Agent: __usage_ai-training und darunter Disallow: /beispiel-pfad/
- Ausnahme im Draft-Beispiel: Disallow: / plus Allow: /press-kit/ erlaubt Training nur für den Pressebereich
Ab wann gilt das Signal bei welchem Anbieter?
OpenAI will das Signal in den kommenden Monaten umsetzen und dann Details nennen. Google will die Kontrolle 2027 gemeinsam mit anderen Anbietern unterstützen. Opt-out per Token ohne ausdrückliche Google-Extended-Regel wertet Google wie ein Disallow für Google-Extended. Microsoft will die neuen Präferenzen ab dem 1. Februar 2027 beim Crawlen berücksichtigen.
Alle drei betonen, dass bestehende Steuerungen bleiben. Ausdrückliche Regeln für einzelne Anbieter wie Google-Extended gelten weiter neben dem gemeinsamen Signal.
Was ergänzt Microsoft für Bing und Copilot?
Microsoft erweitert die Training-Präferenz auf einzelne Seiten per Meta-Tag oder HTTP-Header, etwa ai-training:disallow für Bingbot. Neu ist zudem eine getrennte Präferenz AI Grounding, nur pro Seite. Sie regelt, ob Inhalte KI-Antworten in Bing, Copilot oder Microsoft 365 stützen dürfen. Die Option DisallowExtended erlaubt das nur in Microsoft-eigenen Angeboten, nicht in Grounding-Diensten für Dritte.
Die neuen Präferenzen ersetzen NoArchive und NoCache. Wer diese Tags nutzt, soll bis zum 1. März 2027 umstellen. Danach liest Microsoft sie nicht mehr als Präferenz für Training oder Grounding. Für Websites mit diesen Tags gibt es ab dem 15. Dezember 2026 vorübergehende Grounding-Einstellungen in den Bing Webmaster Tools.
Was regelt das Signal nicht?
Der Draft stellt klar, dass der Token keine Crawling-Anweisung ist. Er sagt nichts darüber, ob ein Bot die Seite abrufen darf, und ersetzt keine Regeln für Suchmaschinen. KI-Training heißt dort, mit Inhalten die gelernten Parameter eines generativen Modells zu verändern. Modelle nur für Klassifizierung oder Ranking fallen nicht darunter. Private Vereinbarungen können Vorrang haben. Microsoft weist darauf hin, dass weder Erlauben noch Sperren Aufnahme, Traffic oder Zahlung garantiert.
Unsere Einordnung, keine Herstelleraussage: Für die meisten Mittelständler ist das Signal eine einfache, risikoarme Ergänzung. Wichtig ist, Training und Sichtbarkeit in KI-Antworten getrennt zu entscheiden, denn ein Sperren des Groundings kann Reichweite kosten.
Was sollten Unternehmen jetzt tun?
Prüfen Sie Ihre robots.txt und notieren Sie, welche KI-Crawler Sie heute schon einzeln steuern. Entscheiden Sie mit Marketing und Rechtsabteilung, ob Ihre Inhalte für KI-Training genutzt werden dürfen, und tragen Sie den Token bei Bedarf ein. Nutzen Sie NoArchive oder NoCache, planen Sie die Umstellung für Bing bis zum 1. März 2027.
Der kostenlose KI-Systemcheck hilft, KI-Regeln, Zuständigkeiten und Datenflüsse im Unternehmen zu ordnen. Die Hinweise hier sind Vorschläge, keine Kundenergebnisse.
Nachvollziehbar bleiben
Primärquellen
- OpenAI: Making it easier for websites to express AI training preferences · 30.10.2026Quellenstand:
- Google Search Central Blog: Supporting a shared AI training control for websites · 30.10.2026Quellenstand:
- Microsoft Bing Blog: Your content, your choice · 30.10.2026Quellenstand:
- IETF Internet-Draft: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)Quellenstand:
- Anthropic Help Center: Does Anthropic crawl data from the web?Quellenstand:






