{"id":9184,"date":"2026-11-03T17:51:09","date_gmt":"2026-11-03T16:51:09","guid":{"rendered":"https:\/\/implementi.ai\/en\/2026\/11\/03\/openai-google-microsoft-and-anthropic-back-shared-ai-scraping-opt-out-standard\/"},"modified":"2026-11-03T17:51:09","modified_gmt":"2026-11-03T16:51:09","slug":"openai-google-microsoft-und-anthropic-unterstutzen-gemeinsam-einen-standard-zum-opt-out-beim-ki-scraping","status":"publish","type":"post","link":"https:\/\/implementi.ai\/de\/2026\/11\/03\/openai-google-microsoft-and-anthropic-back-shared-ai-scraping-opt-out-standard\/","title":{"rendered":"OpenAI, Google, Microsoft und Anthropic unterst\u00fctzen gemeinsamen Standard f\u00fcr die Ablehnung von KI-Scraping"},"content":{"rendered":"

OpenAI, Google, Microsoft und Anthropic geben bekannt, dass sie einen gemeinsamen Standard einf\u00fchren werden, der es Webpublishern erm\u00f6glichen soll, das Scraping durch KI \u00fcber eine einzige Einstellung auf Website-Ebene zu unterbinden. Der Vorschlag betrifft Website-Betreiber, Entwickler von Crawlern und KI-Unternehmen: Anstatt die Einstellungen f\u00fcr jeden Anbieter separat zu konfigurieren, k\u00f6nnte ein Webpublisher ein einheitliches Signal in seiner robots.txt<\/code> Datei.<\/p>\n

Was die vorgeschlagene Opt-out-M\u00f6glichkeit f\u00fcr das Scraping durch KI bewirkt<\/h2>\n

Das Signal wird als gemeinsames \u201cPolicy-Token\u201d beschrieben, das von Kevin Kelley, einem technischen Leiter f\u00fcr Standards bei Anthropic, innerhalb der Internet Engineering Task Force (IETF) vorgeschlagen wurde. Es w\u00fcrde neben den bestehenden robots.txt<\/code> Regeln, anhand derer Websites festlegen, ob Webcrawler auf ihre Inhalte zugreifen d\u00fcrfen, beispielsweise zum Zwecke der Suchindexierung oder Archivierung.<\/p>\n

Dem vorgelegten Bericht zufolge geben die teilnehmenden Unternehmen an, dass sie den neuen Standard \u00fcbernehmen werden. Die angegebene \u00c4nderung betrifft die Interoperabilit\u00e4t: Verlage k\u00f6nnten ihre Pr\u00e4ferenzen f\u00fcr das KI-Training einmalig f\u00fcr mehrere KI-Unternehmen festlegen, anstatt f\u00fcr jeden Anbieter separate Anweisungen zu erstellen.<\/p>\n

Das bedeutet jedoch nicht, dass das System bereits verf\u00fcgbar ist, allgemein unterst\u00fctzt wird oder rechtsverbindlich ist. In den Quellen wird weder ein Einf\u00fchrungstermin genannt, noch wird angegeben, welche KI-Produkte das Signal als Erste erkennen werden, ob das Token zwischen KI-Training und anderen Formen des Scrapings unterscheiden kann oder wie die Einhaltung der Vorschriften \u00fcberpr\u00fcft werden soll.<\/p>\n

Warum dies f\u00fcr Publisher und Entwickler von Bedeutung ist<\/h2>\n

F\u00fcr Publisher k\u00f6nnte eine einheitliche Steuerung den operativen Aufwand f\u00fcr die Verwaltung von Crawler-Einstellungen in einem sich wandelnden KI-Markt verringern. Ein kleines Unternehmen mit einer \u00f6ffentlichen Dokumentationswebsite k\u00f6nnte beispielsweise hypothetisch w\u00fcnschen, dass seine Seiten von herk\u00f6mmlichen Suchmaschinen indexiert werden, w\u00e4hrend es hinsichtlich ihrer Verwendung f\u00fcr das KI-Training eine andere Pr\u00e4ferenz \u00e4u\u00dfert; aus den bereitgestellten Unterlagen geht nicht hervor, ob das vorgeschlagene Token genau diese Kombination unterst\u00fctzt.<\/p>\n

Entwickler und Plattformteams m\u00fcssten dieses Signal im Rahmen der Crawler-Governance ber\u00fccksichtigen: Sie sollten die Richtlinien der Website dokumentieren und die daraus resultierenden robots.txt<\/code> Ausgabe und zu \u00fcberwachen, welche Crawler diese einhalten. Der wichtigste potenzielle Vorteil ist eine einheitliche Konvention anstelle einer Reihe von anbieterspezifischen Einstellungen.<\/p>\n

Was hinsichtlich des Standards noch ungekl\u00e4rt ist<\/h2>\n

Der Standort des Vorhabens in robots.txt<\/code> zeigt aber auch deren Grenzen auf. Solche Dateien enthalten zwar die Anweisungen eines Herausgebers, doch wird darin weder die technische Durchsetzung noch die Sanktionen bei Nichtbeachtung noch Abhilfema\u00dfnahmen f\u00fcr den Fall beschrieben, dass Inhalte bereits erfasst wurden. Ebenso enth\u00e4lt die Quelle keine Angaben dazu, ob bestehende Trainingsdatens\u00e4tze oder bereits gescraptes Material davon betroffen w\u00e4ren.<\/p>\n

Vorerst sollten Publisher nicht davon ausgehen, dass die Einf\u00fchrung eines neuen Tokens sofort Auswirkungen darauf hat, wie KI-Unternehmen ihre Inhalte nutzen. Der n\u00e4chste praktische Schritt besteht darin, dem IETF-Vorschlag und der Dokumentation der Anbieter zu folgen und anschlie\u00dfend die Unterst\u00fctzung zu \u00fcberpr\u00fcfen, bevor die Richtlinien f\u00fcr Crawler im Produktivbetrieb ge\u00e4ndert werden.<\/p>\n

Quelle:<\/strong> Urspr\u00fcngliche Berichterstattung<\/a>. Dieser Artikel enth\u00e4lt unabh\u00e4ngige redaktionelle Hintergr\u00fcnde und praktische Analysen.<\/p>\n

Weitere Einblicke in die KI:<\/strong> St\u00f6bern Sie in unserem Aktuelle Artikel zu KI-Automatisierung und -Technologie<\/a>, oder entdecken Sie gebrauchsfertige Automatisierungsl\u00f6sungen<\/a>.<\/p>","protected":false},"excerpt":{"rendered":"

OpenAI, Google, Microsoft und Anthropic geben bekannt, dass sie einen gemeinsamen Standard einf\u00fchren werden, der es Publishern erm\u00f6glichen soll, sich \u00fcber eine einzige Einstellung auf Website-Ebene gegen das Scraping durch KI zu wehren.<\/p>","protected":false},"author":2,"featured_media":9183,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[26],"tags":[],"class_list":["post-9184","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-automation"],"featured_image_src":"https:\/\/implementi.ai\/wp-content\/uploads\/2026\/11\/implementi-ai-news-20261103-175102-1024x576.jpg","blog_images":{"medium":"https:\/\/implementi.ai\/wp-content\/uploads\/2026\/11\/implementi-ai-news-20261103-175102-300x169.jpg","large":"https:\/\/implementi.ai\/wp-content\/uploads\/2026\/11\/implementi-ai-news-20261103-175102-1024x576.jpg"},"ams_acf":[],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/implementi.ai\/wp-content\/uploads\/2026\/11\/implementi-ai-news-20261103-175102.jpg","_links":{"self":[{"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/posts\/9184","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/comments?post=9184"}],"version-history":[{"count":0,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/posts\/9184\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/media\/9183"}],"wp:attachment":[{"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/media?parent=9184"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/categories?post=9184"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/implementi.ai\/de\/wp-json\/wp\/v2\/tags?post=9184"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}