OpenAI:Alignment 研究博客· Alex Makelov, Xiaojun Xu, Sundaram Ananthanarayanan, Ethan Mcdonald, Tom Dupre la Tour·· 10 天前精选AI 评分62
OpenAI 发布激活分类器技术报告,将其作为前沿模型的实时安全监控层
Training activation classifiers for safety and alignment
AI 导读
OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。
推荐理由
OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。
来源:OpenAI:Alignment 研究博客 · alignment.openai.com