OpenAI a annoncé l’élargissement des mesures de sécurité de ChatGPT afin de prévenir la violence et de réduire l’accès des adolescents à des informations potentiellement dangereuses sur les armes. L’entreprise indique que ces changements comprennent des interventions plus précoces, des restrictions renforcées et un nouveau rapport public sur la sécurité de la communauté.
OpenAI a signalé avoir effectué plus de 200 signalements aux forces de l’ordre au cours du troisième trimestre de 2026 concernant des menaces imminentes de violence. L’entreprise a déclaré s’appuyer sur des experts en santé mentale et en comportement pour évaluer les cas difficiles et considère son travail comme complémentaire du rôle des forces de l’ordre, des familles, des professionnels et des responsables politiques.
Le rapport prévu sur la sécurité de la communauté couvrira la prévention de la violence et d’autres questions liées à la sécurité collective, notamment la manière dont OpenAI entraîne ses systèmes à détecter, enquêter et répondre aux activités préoccupantes. Il devrait inclure des exemples anonymisés, des informations sur les nouvelles mesures d’atténuation et les changements de politique, ainsi que des données pertinentes sur l’efficacité des dispositifs de protection.
Le premier rapport est prévu pour le début de 2027 et couvrira le second semestre de 2026. OpenAI prévoit de publier des mises à jour tous les six mois.
L’entreprise renforce également la manière dont ChatGPT traite les questions sur les attaques de masse passées et leurs auteurs. Le modèle fournira moins d’informations détaillées sur les reconstitutions de telles attaques, notamment sur les armes et l’équipement utilisés, la manière dont ils ont été obtenus et les comparaisons de l’ampleur des dommages qui pourraient accroître la notoriété d’un agresseur. Les restrictions s’appliqueront quel que soit l’âge de l’utilisateur ou le motif déclaré de sa demande.
OpenAI a indiqué que ChatGPT continuerait de répondre aux demandes axées sur la compréhension des effets des attaques, la détection des signes avant-coureurs et la prévention de futures violences. L’entreprise développe également des systèmes qui utilisent les signes d’alerte issus de conversations récentes afin d’adopter davantage de prudence lorsqu’ils répondent à des informations susceptibles d’être détournées.
Lorsqu’une conversation indique qu’une personne pourrait être obsédée par la violence ou envisager sérieusement de faire du mal à quelqu’un, ChatGPT peut automatiquement mettre fin à la conversation. Les comptes peuvent être temporairement suspendus si plusieurs conversations sont interrompues pour cette raison, tandis que les comptes reconnus comme enfreignant les politiques relatives aux activités violentes peuvent être bannis. OpenAI a déclaré travailler avec des experts en santé mentale et en prévention de la violence pour améliorer ces interventions.
Des restrictions supplémentaires sont mises en place pour les utilisateurs identifiés comme âgés de moins de 18 ans. ChatGPT limitera les informations pratiques sur les armes et les systèmes de sécurité qui pourraient être détournées pour faciliter la violence, même lorsqu’une demande semble inoffensive. Les adolescents pourront toujours utiliser le service pour prévenir la violence, désamorcer des situations, demander de l’aide et entrer en contact avec un adulte de confiance.
OpenAI a déclaré que son système de prédiction de l’âge évaluait notamment des signaux liés aux habitudes de comportement et avait été renforcé afin d’examiner de nouveaux signaux au fil du temps. Les utilisateurs placés à tort dans l’expérience destinée aux moins de 18 ans disposeront d’une méthode respectueuse de la vie privée pour vérifier qu’ils sont adultes par l’intermédiaire de Persona, le partenaire d’OpenAI chargé de la vérification de l’âge.
Les contrôles parentaux permettent aux parents de relier leurs comptes à ceux de leurs adolescents et de gérer les paramètres de sécurité. Les alertes existantes peuvent informer les parents de graves préoccupations liées à l’automutilation et de comportements associés aux troubles alimentaires. OpenAI a déclaré avoir élargi ces alertes en juillet afin de couvrir les comptes d’adolescents désactivés pour violation des politiques relatives à la violence, et travailler sur des notifications concernant les comptes suspendus après des discussions répétées sur la violence.
Le déploiement des nouvelles mesures de protection devrait commencer au cours des prochaines semaines. OpenAI a déclaré qu’il continuerait à perfectionner ces mesures, à surveiller les détournements, à faire respecter ses règles et à recourir, lorsque cela est approprié, à un soutien ou à une intervention dans le monde réel.
Sources: OpenAI News.