OpenAI, Google, Microsoft und Anthropic geben bekannt, dass sie einen gemeinsamen Standard einführen werden, der es Webpublishern ermöglichen soll, das Scraping durch KI über eine einzige Einstellung auf Website-Ebene zu unterbinden. Der Vorschlag betrifft Website-Betreiber, Entwickler von Crawlern und KI-Unternehmen: Anstatt die Einstellungen für jeden Anbieter separat zu konfigurieren, könnte ein Webpublisher ein einheitliches Signal in seiner robots.txt Datei.
Was die vorgeschlagene Opt-out-Möglichkeit für das Scraping durch KI bewirkt
Das Signal wird als gemeinsames “Policy-Token” beschrieben, das von Kevin Kelley, einem technischen Leiter für Standards bei Anthropic, innerhalb der Internet Engineering Task Force (IETF) vorgeschlagen wurde. Es würde neben den bestehenden robots.txt Regeln, anhand derer Websites festlegen, ob Webcrawler auf ihre Inhalte zugreifen dürfen, beispielsweise zum Zwecke der Suchindexierung oder Archivierung.
Dem vorgelegten Bericht zufolge geben die teilnehmenden Unternehmen an, dass sie den neuen Standard übernehmen werden. Die angegebene Änderung betrifft die Interoperabilität: Verlage könnten ihre Präferenzen für das KI-Training einmalig für mehrere KI-Unternehmen festlegen, anstatt für jeden Anbieter separate Anweisungen zu erstellen.
Das bedeutet jedoch nicht, dass das System bereits verfügbar ist, allgemein unterstützt wird oder rechtsverbindlich ist. In den Quellen wird weder ein Einführungstermin genannt, noch wird angegeben, welche KI-Produkte das Signal als Erste erkennen werden, ob das Token zwischen KI-Training und anderen Formen des Scrapings unterscheiden kann oder wie die Einhaltung der Vorschriften überprüft werden soll.
Warum dies für Publisher und Entwickler von Bedeutung ist
Für Publisher könnte eine einheitliche Steuerung den operativen Aufwand für die Verwaltung von Crawler-Einstellungen in einem sich wandelnden KI-Markt verringern. Ein kleines Unternehmen mit einer öffentlichen Dokumentationswebsite könnte beispielsweise hypothetisch wünschen, dass seine Seiten von herkömmlichen Suchmaschinen indexiert werden, während es hinsichtlich ihrer Verwendung für das KI-Training eine andere Präferenz äußert; aus den bereitgestellten Unterlagen geht nicht hervor, ob das vorgeschlagene Token genau diese Kombination unterstützt.
Entwickler und Plattformteams müssten dieses Signal im Rahmen der Crawler-Governance berücksichtigen: Sie sollten die Richtlinien der Website dokumentieren und die daraus resultierenden robots.txt Ausgabe und zu überwachen, welche Crawler diese einhalten. Der wichtigste potenzielle Vorteil ist eine einheitliche Konvention anstelle einer Reihe von anbieterspezifischen Einstellungen.
Was hinsichtlich des Standards noch ungeklärt ist
Der Standort des Vorhabens in robots.txt zeigt aber auch deren Grenzen auf. Solche Dateien enthalten zwar die Anweisungen eines Herausgebers, doch wird darin weder die technische Durchsetzung noch die Sanktionen bei Nichtbeachtung noch Abhilfemaßnahmen für den Fall beschrieben, dass Inhalte bereits erfasst wurden. Ebenso enthält die Quelle keine Angaben dazu, ob bestehende Trainingsdatensätze oder bereits gescraptes Material davon betroffen wären.
Vorerst sollten Publisher nicht davon ausgehen, dass die Einführung eines neuen Tokens sofort Auswirkungen darauf hat, wie KI-Unternehmen ihre Inhalte nutzen. Der nächste praktische Schritt besteht darin, dem IETF-Vorschlag und der Dokumentation der Anbieter zu folgen und anschließend die Unterstützung zu überprüfen, bevor die Richtlinien für Crawler im Produktivbetrieb geändert werden.
Quelle: Ursprüngliche Berichterstattung. Dieser Artikel enthält unabhängige redaktionelle Hintergründe und praktische Analysen.
Weitere Einblicke in die KI: Stöbern Sie in unserem Aktuelle Artikel zu KI-Automatisierung und -Technologie, oder entdecken Sie gebrauchsfertige Automatisierungslösungen.
