OpenAI hat angekündigt, ein gemeinsames Signal in robots.txt zu beachten – der Datei, die Websites verwenden, um Präferenzen darüber mitzuteilen, wie ihre Inhalte aufgerufen und genutzt werden dürfen. Das Signal soll Verlagen und Website-Betreibern eine einfachere Möglichkeit bieten, ihre Haltung zur Nutzung ihrer Materialien für das grundlegende Training generativer KI bei mehreren teilnehmenden Anbietern auszudrücken.
Nach dem derzeitigen Ansatz müssen Betreiber möglicherweise einzelne Crawler identifizieren und für jeden Anbieter separate Regeln verwalten. Ein gemeinsames Signal könnte diesen administrativen Aufwand verringern, indem dieselbe Präferenz breiter kommuniziert werden kann.
OpenAI erklärte, dass das Unternehmen die Implementierung des Signals in den kommenden Monaten plant und weitere Einzelheiten bekannt geben wird, sobald diese Arbeiten abgeschlossen sind. Die neue Option wird die bereits über robots.txt verfügbaren Steuerungsmöglichkeiten für Crawler nicht ersetzen. Nach Angaben des Unternehmens werden diese bestehenden Steuerungen weiterhin gelten und beachtet werden.
Die Ankündigung baut auf der Arbeit der AI Preferences Working Group der Internet Engineering Task Force auf. OpenAI erklärte, dass das Unternehmen gemeinsam mit anderen Teilnehmern das gemeinsame Signal ankündigt und seine Verfahren weiter anpassen wird, während sich die Diskussionen über Standards, Steuerungsmöglichkeiten und Fairness entwickeln. Das Unternehmen forderte außerdem andere KI-Anbieter auf, das Signal zu beachten.
Quellen: OpenAI News.