OpenAI hat erweiterte Sicherheitsmaßnahmen für ChatGPT angekündigt, die darauf abzielen, Gewalt zu verhindern und den Zugang von Jugendlichen zu potenziell schädlichen Informationen über Waffen zu verringern. Nach Angaben des Unternehmens umfassen die Änderungen frühere Interventionen, strengere Beschränkungen und einen neuen öffentlichen Bericht zur Sicherheit der Community.
OpenAI meldete, im dritten Quartal 2026 wegen unmittelbar bevorstehender Gewaltandrohungen mehr als 200 Fälle an Strafverfolgungsbehörden weitergeleitet zu haben. Das Unternehmen erklärte, dass es bei der Bewertung schwieriger Fälle auf Fachleute für psychische Gesundheit und Verhaltenswissenschaften zurückgreift und seine Arbeit als Ergänzung zu den Aufgaben von Strafverfolgungsbehörden, Familien, Fachleuten und politischen Entscheidungsträgern betrachtet.
Der geplante Bericht zur Sicherheit der Community wird Gewaltprävention und andere Fragen der Sicherheit der Gemeinschaft behandeln, darunter die Ausbildung der OpenAI-Systeme zur Erkennung, Untersuchung und Reaktion auf bedenkliche Aktivitäten. Erwartet werden anonymisierte Beispiele, Informationen über neue Schutzmaßnahmen und Richtlinienänderungen sowie relevante Daten zur Wirksamkeit der Sicherheitsvorkehrungen.
Der erste Bericht soll Anfang 2027 erscheinen und die zweite Hälfte des Jahres 2026 abdecken. OpenAI plant, alle sechs Monate Aktualisierungen zu veröffentlichen.
Das Unternehmen verschärft außerdem den Umgang von ChatGPT mit Fragen zu vergangenen Massenangriffen und deren Tätern. Das Modell wird weniger detaillierte Informationen über Rekonstruktionen solcher Angriffe liefern, einschließlich der eingesetzten Waffen und Ausrüstung, der Beschaffung dieser Gegenstände und Vergleichen des Ausmaßes der Schäden, die die Bekanntheit eines Angreifers steigern könnten. Die Beschränkungen gelten unabhängig vom Alter des Nutzers oder vom angegebenen Grund für die Frage.
OpenAI erklärte, dass ChatGPT weiterhin Anfragen unterstützen wird, die sich auf das Verständnis der Auswirkungen von Angriffen, das Erkennen von Warnzeichen und die Verhinderung künftiger Gewalt konzentrieren. Das Unternehmen entwickelt außerdem Systeme, die Warnzeichen aus kürzlich geführten Gesprächen nutzen, um bei Antworten auf Informationen, die missbraucht werden könnten, größere Vorsicht walten zu lassen.
Wenn ein Gespräch darauf hindeutet, dass jemand sich möglicherweise auf Gewalt fixiert oder einer anderen Person ernsthaft schaden will, kann ChatGPT das Gespräch automatisch beenden. Konten können vorübergehend pausiert werden, wenn aus diesem Grund mehrere Chats beendet wurden; Konten, bei denen ein Verstoß gegen Richtlinien zu gewalttätigen Aktivitäten festgestellt wird, können gesperrt werden. OpenAI erklärte, dass es mit Fachleuten für psychische Gesundheit und Gewaltprävention zusammenarbeitet, um diese Interventionen zu verbessern.
Für Nutzer, die als unter 18 Jahre alt identifiziert wurden, werden zusätzliche Beschränkungen eingeführt. ChatGPT wird praktische Informationen über Waffen und Sicherheitssysteme begrenzen, die missbraucht werden könnten, um Gewalt zu erleichtern, selbst wenn eine Anfrage harmlos erscheint. Jugendliche werden den Dienst weiterhin zur Gewaltprävention, Deeskalation, zur Suche nach Unterstützung und zur Kontaktaufnahme mit einer vertrauenswürdigen erwachsenen Person nutzen können.
OpenAI erklärte, dass sein System zur Altersschätzung unter anderem Verhaltensmuster bewertet und verbessert wurde, um im Laufe der Zeit neue Signale einzubeziehen. Nutzer, die fälschlicherweise der Erfahrung für unter 18-Jährige zugeordnet wurden, erhalten über Persona, den Partner von OpenAI für Altersverifizierung, eine datenschutzfreundliche Möglichkeit, zu bestätigen, dass sie erwachsen sind.
Kindersicherungseinstellungen ermöglichen es Eltern, ihre Konten mit denen ihrer Jugendlichen zu verknüpfen und Sicherheitseinstellungen zu verwalten. Bestehende Warnmeldungen können Eltern über ernsthafte Bedenken hinsichtlich Selbstverletzung und Verhaltensweisen im Zusammenhang mit Essstörungen informieren. OpenAI erklärte, dass es diese Warnmeldungen im Juli auf Jugendkonten ausgeweitet habe, die wegen Verstößen gegen Richtlinien zu Gewalt deaktiviert wurden, und an Benachrichtigungen für Konten arbeite, die nach wiederholten Gesprächen über Gewalt pausiert wurden.
Die neuen Schutzmaßnahmen sollen innerhalb der nächsten Wochen schrittweise eingeführt werden. OpenAI erklärte, dass es die Maßnahmen weiter verfeinern, Missbrauch überwachen, seine Regeln durchsetzen und, wenn angemessen, reale Unterstützung oder Intervention einsetzen werde.
Quellen: OpenAI News.