OpenAI ha anunciado medidas de seguridad ampliadas para ChatGPT centradas en prevenir la violencia y reducir el acceso de los adolescentes a información potencialmente dañina sobre armas. La empresa afirma que los cambios incluyen intervenciones más tempranas, restricciones más estrictas y un nuevo informe público sobre la seguridad de la comunidad.
OpenAI informó haber realizado más de 200 derivaciones a las fuerzas del orden durante el tercer trimestre de 2026 en relación con amenazas inminentes de violencia. La empresa dijo que recurre a expertos en salud mental y comportamiento al evaluar casos difíciles, y considera que su trabajo complementa las funciones de las fuerzas del orden, las familias, los profesionales y los responsables de formular políticas.
El Informe de Seguridad de la Comunidad previsto abarcará la prevención de la violencia y otros asuntos relacionados con la seguridad comunitaria, incluido cómo OpenAI entrena sus sistemas para detectar, investigar y responder a actividades preocupantes. Se espera que incluya ejemplos anonimizados, información sobre nuevas medidas de mitigación y cambios en las políticas, así como datos relevantes sobre la eficacia de las salvaguardas.
El primer informe está programado para principios de 2027 y cubrirá la segunda mitad de 2026. OpenAI planea publicar actualizaciones cada seis meses.
La empresa también está endureciendo la forma en que ChatGPT responde a preguntas sobre ataques masivos ocurridos en el pasado y sus perpetradores. El modelo proporcionará menos información detallada sobre las reconstrucciones de esos ataques, incluidas las armas y el equipo utilizados, cómo se obtuvieron y las comparaciones sobre la magnitud del daño que podrían aumentar la notoriedad de un atacante. Las restricciones se aplicarán independientemente de la edad del usuario o del motivo declarado para preguntar.
OpenAI dijo que ChatGPT seguirá apoyando las solicitudes centradas en comprender los efectos de los ataques, reconocer señales de advertencia y prevenir futuros actos de violencia. La empresa también está desarrollando sistemas que utilizan señales de advertencia de conversaciones recientes para aplicar mayor cautela al responder a información que podría utilizarse indebidamente.
Cuando una conversación indique que alguien podría estar obsesionándose con la violencia o considerando seriamente hacer daño a otra persona, ChatGPT podrá finalizar automáticamente la conversación. Las cuentas podrán pausarse temporalmente si se terminan varios chats por ese motivo, mientras que las cuentas que infrinjan las políticas sobre actividades violentas podrán ser bloqueadas. OpenAI afirmó que está trabajando con expertos en salud mental y prevención de la violencia para mejorar estas intervenciones.
También se están introduciendo restricciones adicionales para los usuarios identificados como menores de 18 años. ChatGPT limitará la información práctica sobre armas y sistemas de seguridad que podría utilizarse indebidamente para facilitar la violencia, incluso cuando una solicitud parezca inofensiva. Los adolescentes seguirán pudiendo utilizar el servicio para la prevención de la violencia, la desescalada, la búsqueda de apoyo y el contacto con un adulto de confianza.
OpenAI dijo que su sistema de predicción de edad evalúa señales que incluyen patrones de comportamiento y que se ha reforzado para analizar nuevas señales con el tiempo. Los usuarios clasificados incorrectamente en la experiencia para menores de 18 años dispondrán de un método que protege la privacidad para verificar que son adultos a través de Persona, el socio de OpenAI para la verificación de edad.
Los controles parentales permiten a los padres vincular sus cuentas con las de sus hijos adolescentes y gestionar los ajustes de seguridad. Las alertas existentes pueden notificar a los padres sobre preocupaciones graves relacionadas con autolesiones y comportamientos asociados con trastornos de la alimentación. OpenAI dijo que amplió estas alertas en julio para abarcar las cuentas de adolescentes desactivadas por infringir las políticas sobre violencia, y que está trabajando en notificaciones para las cuentas pausadas después de conversaciones repetidas sobre violencia.
Se espera que las nuevas salvaguardas comiencen a implementarse durante las próximas semanas. OpenAI afirmó que seguirá perfeccionando las medidas, supervisando los usos indebidos, haciendo cumplir sus normas y recurriendo a apoyo o intervención en el mundo real cuando corresponda.
Fuentes: OpenAI News.