Das Internet wandelt sich von „Suchmaschinen“, die eine Schatzkarte mit Links bereitstellten, die ein Nutzer nach Informationen durchsuchen konnte, zu „Antwortmaschinen“ mit KI-Unterstützung, die eine direkte Antwort geben, ohne dass ein Nutzer jemals auf den Inhalt der ursprünglichen Website klicken muss. Dies bedroht das ursprüngliche Geschäftsmodell des Internets, bei dem Websites, Publisher und Content-Ersteller Geld oder Ruhm verdienen konnten, indem sie Traffic und Aufrufe auf ihre Website lenkten. Heute sammeln KI-Crawler riesige Datenmengen von Websites, aber Website-Betreiber haben keine Möglichkeit, die Nuancen auszudrücken, ob, wie und zu welchem Zweck sie die Nutzung ihrer Inhalte zulassen möchten. Mit Robots.txt-Dateien können Website-Betreiber festlegen, welche Crawler zulässig sind und auf welche Teile einer Website sie zugreifen dürfen. Allerdings erfahren die Crawler dadurch nicht, was sie mit den Inhalten nach dem Zugriff tun dürfen. Es muss eine standardisierte, maschinenlesbare Methode geben, um zu signalisieren, wie Daten auch nach dem Zugriff verwendet werden dürfen.
„Das Internet kann nicht auf eine Lösung warten, während die Originalinhalte der Urheber in der Zwischenzeit von anderen Unternehmen zu Gewinnzwecken genutzt werden“, sagte Matthew Prince, Mitbegründer und CEO von Cloudflare. „Um sicherzustellen, dass das Web offen und lebendig bleibt, bieten wir Website-Betreibern eine bessere Möglichkeit, auszudrücken, wie Unternehmen ihre Inhalte verwenden dürfen. Robots.txt ist eine unzureichend genutzte Ressource, die wir stärken können, um KI-Unternehmen klar zu machen, dass sie die Präferenzen der Urheber von Inhalten nicht länger ignorieren können.“
Cloudflare ist der Ansicht, dass Betreiber von Websites, APIs, MCP-Servern oder anderen mit dem Internet verbundenen Diensten, unabhängig davon, ob es sich um lokale Nachrichtenorganisationen, KI-Startups oder E-Commerce-Shops handelt, selbst entscheiden sollten, wie ihre Daten von anderen für kommerzielle Zwecke genutzt werden dürfen. Heute nutzen mehr als 3,8 Millionen Domains den von Cloudflare verwalteten Dienst robots.txt, um zu erklären, dass sie nicht möchten, dass ihre Inhalte für Trainingszwecke verwendet werden. Mit der neuen Content Signals Policy von Cloudflare können Nutzer nun ihre robots.txt-Präferenzen mit klaren Anweisungen für alle verstärken, die über automatisierte Mittel, wie z. B. einen KI-Crawler, auf die Website zugreifen. Die Richtlinie informiert Crawler nun wie folgt:
Auch wenn robots.txt-Dateien unerwünschtes Scraping möglicherweise nicht verhindern können, ist es das Ziel von Cloudflare, dass diese verbesserte Richtlinienformulierung die Präferenzen von Website-Betreibern besser an Bot-Betreiber kommuniziert und Unternehmen dazu veranlasst, die Präferenzen von Inhaltserstellern besser zu respektieren.
Ab heute aktualisiert Cloudflare automatisch die robots.txt-Dateien aller Kunden, die Cloudflare mit der Verwaltung ihrer robots.txt-Datei beauftragt haben, um diese neue Richtlinienformulierung aufzunehmen. Für alle, die über angepasste robots.txt-Dateien festlegen möchten, wie Crawler ihre Inhalte verwenden dürfen, veröffentlicht Cloudflare Tools, die dabei helfen.
Unternehmen haben den Bedarf an Lösungen wie der Content Signals Policy erkannt, um mehr Kontrolle über die Verwendung ihrer Inhalte zu erhalten:
Weitere Informationen finden Sie in den folgenden Ressourcen:
Über Cloudflare
Cloudflare, Inc. (NYSE: NET) ist das führende Cloud-Unternehmen für Konnektivität, das es sich zur Aufgabe gemacht hat, ein besseres Internet zu schaffen. Es ermöglicht Unternehmen, ihre Mitarbeiter, Anwendungen und Netzwerke überall schneller und sicherer zu machen und gleichzeitig Komplexität und Kosten zu reduzieren. Die Connectivity Cloud von Cloudflare bietet die umfassendste, einheitliche Plattform von Cloud-nativen Produkten und Entwickler-Tools, so dass jede Organisation die Kontrolle erhält, die sie für die Arbeit, Entwicklung und Beschleunigung ihres Geschäfts benötigt.
Cloudflare wird von einem der größten und am besten verknüpften Netzwerke der Welt unterstützt und blockiert für seine Kunden jeden Tag Milliarden von Online-Bedrohungen. Mehrere Millionen Organisationen vertrauen auf Cloudflare - von den größten Marken über Unternehmer und kleine Geschäfte bis hin zu gemeinnützigen Organisationen, humanitären Gruppen und Regierungen auf der ganzen Welt.
Weitere Informationen über die Connectivity Cloud von Cloudflare finden Sie unter cloudflare.com/connectivity-cloud. Weitere Informationen über die neuesten Internettrends und -erkenntnisse finden Sie unter https://radar.cloudflare.com.
Zukunftsgerichtete Aussagen
Diese Pressemitteilung enthält zukunftsgerichtete Aussagen im Sinne von Abschnitt 27A des Securities Act von 1933 in seiner geänderten Fassung und Abschnitt 21E des Securities Exchange Act von 1934 in seiner geänderten Fassung, die mit erheblichen Risiken und Unsicherheiten behaftet sind. In einigen Fällen können Sie zukunftsgerichtete Aussagen daran erkennen, dass sie Wörter wie „können“, „werden“, „sollten“, „erwarten“, „untersuchen“, „planen“, „voraussehen“, „könnte“, „beabsichtigen“, „anstreben“, „projizieren“, „erwägen“, „glauben“, „schätzen“, „vorhersagen“, „potenziell“ oder „fortsetzen“ oder die Verneinung dieser Wörter oder andere ähnliche Begriffe oder Ausdrücke, die sich auf die Erwartungen, Strategien, Pläne oder Absichten von Cloudflare beziehen. Allerdings enthalten nicht alle zukunftsgerichteten Aussagen diese kennzeichnenden Wörter. Zu den in dieser Pressemitteilung ausdrücklich oder implizit enthaltenen zukunftsgerichteten Aussagen gehören unter anderem Aussagen zu den Plänen und Zielen von Cloudflare hinsichtlich seiner Content-Signals-Richtlinie, den Fähigkeiten und der Wirksamkeit der Content-Signals-Richtlinie von Cloudflare und anderen Produkten und Technologien von Cloudflare, den Vorteilen für die Kunden von Cloudflare durch die Nutzung der Content-Signals-Richtlinie von Cloudflare und anderer Produkte und Technologien von Cloudflare, das globale Netzwerk von Cloudflare, die Produkte und Technologien von Cloudflare, die technologische Entwicklung von Cloudflare, zukünftige Geschäftstätigkeiten, Wachstum, Initiativen oder Strategien sowie Kommentare des CEO von Cloudflare und anderer Personen. Die tatsächlichen Ergebnisse können aufgrund einer Reihe von Faktoren erheblich von den in den zukunftsgerichteten Aussagen genannten oder implizierten Ergebnissen abweichen, einschließlich, aber nicht beschränkt auf die Risiken, die in den bei der Securities and Exchange Commission (SEC) eingereichten Unterlagen von Cloudflare, einschließlich des am 31. Juli 2025 eingereichten Quartalsberichts von Cloudflare auf Formular 10-Q, sowie in anderen Unterlagen, die Cloudflare von Zeit zu Zeit bei der SEC einreichen kann, ausführlich beschrieben sind.
Die in dieser Pressemitteilung dargelegten zukunftsgerichteten Aussagen beziehen sich nur auf Ereignisse zu dem Zeitpunkt, an dem die Aussagen gemacht werden. Cloudflare übernimmt keine Verpflichtung, zukunftsgerichtete Aussagen in dieser Pressemitteilung zu aktualisieren, um Ereignisse oder Umstände nach dem Datum dieser Pressemitteilung oder neue Informationen oder das Eintreten unvorhergesehener Ereignisse widerzuspiegeln, es sei denn, dies ist gesetzlich vorgeschrieben. Cloudflare wird die in den zukunftsgerichteten Aussagen offengelegten Pläne, Absichten oder Erwartungen möglicherweise nicht verwirklichen, und die Leser sollten sich nicht über Gebühr auf die zukunftsgerichteten Aussagen von Cloudflare verlassen.
© 2025 Cloudflare, Inc. Alle Rechte vorbehalten. Cloudflare, das Cloudflare-Logo und andere Cloudflare-Marken sind Marken und/oder eingetragene Marken von Cloudflare, Inc. in den USA und anderen Gerichtsbarkeiten. Alle anderen Marken und Namen, auf die hier Bezug genommen wird, können Marken ihrer jeweiligen Eigentümer sein.
Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.
Originalversion auf businesswire.com ansehen: https://www.businesswire.com/news/home/20250924013504/de/
Hinweis: ARIVA.DE veröffentlicht in dieser Rubrik Analysen, Kolumnen und Nachrichten aus verschiedenen Quellen. Die ARIVA.DE AG ist nicht verantwortlich für Inhalte, die erkennbar von Dritten in den „News“-Bereich dieser Webseite eingestellt worden sind, und macht sich diese nicht zu Eigen. Diese Inhalte sind insbesondere durch eine entsprechende „von“-Kennzeichnung unterhalb der Artikelüberschrift und/oder durch den Link „Um den vollständigen Artikel zu lesen, klicken Sie bitte hier.“ erkennbar; verantwortlich für diese Inhalte ist allein der genannte Dritte.