跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

75 条精选近 30 天 34 条共收录 314 条

更新

精选归档 · 第 4 页

6月3日周三第 61–75 条
  1. OpenAI:部署安全与系统卡61

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,生命科学能力模型以可信访问为主要防护

    OpenAI 发布 GPT-Rosalind-5.5 系统卡,该模型基于 GPT-5.5 增量训练,面向生命科学能力,不再拒绝复杂生物学查询,转而以可信访问审核作为主要防护。

    推荐理由:系统卡说明模型为何不拒绝生物学查询,以及可信访问、持续监控和可撤销权限等部署 safeguards 的具体做法。

5月20日周三
5月7日周四
  1. OpenAI:Alignment 研究博客67

    OpenAI 调查 RL 训练中意外评分 CoT 对多款已发布模型的影响

    OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。

    推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。

5月5日周二
  1. OpenAI:部署安全与系统卡71

    OpenAI 发布 GPT-5.5 Instant 系统卡:生化领域按 High 能力启用 Preparedness 防护

    OpenAI 发布 GPT-5.5 Instant 系统卡,将该模型在生物与化学领域定为 High 能力并激活相应 Preparedness 防护。与 Gryphon Scientific 合作构建的未公开默会知识与排错选择题集评测中,将拒答和安全补全计为成功时模型刚好超过 80% 的共识专家基线,不计入则低于 80%。

    推荐理由:OpenAI 官方系统卡给出 GPT-5.5 Instant 在生化领域被评为 High 能力及与专家基线的具体对比结果。

5月1日周五
  1. OpenAI:Alignment 研究博客77

    OpenAI 在 Codex 中发布 Auto-review,用独立智能体审批越界操作

    OpenAI 上周在 Codex 中发布 Auto-review 模式,用另一个 Codex 智能体代替人工审批沙箱边界外的操作,Codex 会话人工审批频率比手动模式降低约 200 倍。

    推荐理由:原文给出 Auto-review 的拦截率与局限细节,并承认它不防模型 scheming,读者可据此判断该机制的实际边界。

4月24日周五
  1. OpenAI:Alignment 研究博客62

    OpenAI 开源 CoT 监控评测套件的数据集与参考代码

    OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。

    推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。

4月23日周四
  1. OpenAI:部署安全与系统卡77

    OpenAI 发布 GPT-5.5 系统卡,评定生物化学领域为 High 能力

    OpenAI 发布 GPT-5.5 系统卡,将该模型在生物和化学领域评定为 High 能力并启动相应 Preparedness 防护。与 Gryphon Scientific 合建的未污染隐性知识测评中,GPT-5.5 Pro 在排除拒绝后得 81.67%,略超 80% 的专家共识基线。

    推荐理由:OpenAI 官方系统卡给出了 GPT-5.5 的生物化学能力评级与 Apollo Research 第三方评估数据,读者可据此了解其安全边界。

3月22日周日
  1. OpenAI:Alignment 研究博客66

    OpenAI 提出 self-incrimination 训练法,让 Agent 主动调用 report_scheming() 自报隐蔽不当行为

    OpenAI Alignment 团队提出 self-incrimination 训练方法,让 Agent 在隐蔽不当行为时自然调用 report_scheming() 工具自报,GPT-4.1 的未检出成功攻击率从 56% 降至 6%,Gemini 2.0 Flash 从 41% 降至 9%。

    推荐理由:官方研究给出三模型上的量化对比和开源代码库,读者可以据此评估自报式监控与黑盒监控的组合取舍。

3月5日周四
  1. OpenAI:部署安全与系统卡68

    OpenAI 发布 GPT-5.4 Thinking 系统卡,评估安全表现与 Preparedness 定级

    OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。

    推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。

3月2日周一
2月5日周四
2025年12月19日周五
  1. OpenAI:Alignment 研究博客68

    OpenAI 提出用生产流量构建评测以绕开评测感知并预判失配行为

    OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。

    推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。

2025年12月2日周二
  1. OpenAI:Alignment 研究博客63

    OpenAI 分享大规模代码验证实践:为 Codex 训练专用代码审查智能体

    OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。

    推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。

2025年11月18日周二
  1. OpenAI:部署安全与系统卡64

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,披露安全评估与沙箱机制

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明该模型在禁用内容、Agent 沙箱和生物化学风险上的安全评估。Codex agent 默认禁用网络并将文件编辑限制在当前工作区,云端跑在 OpenAI 隔离容器中,macOS 用 Seatbelt、Linux 用 seccomp 和 landlock 实现本地沙箱。

    推荐理由:OpenAI 官方系统卡披露 GPT-5.1-Codex-Max 的安全评估细节,包括沙箱机制与生物化学风险评级,可供部署决策参考。

2025年8月5日周二
  1. Goodfire Research60

    Anthropic、Goodfire 等多机构发布电路研究全景:复现 attribution graph 并开源工具

    Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。

    推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。