跳到正文
  1. OpenAI:Alignment 研究博客76

    OpenAI 研究预训练、RL 与模型生成数据如何影响 CoT 可监测性

    OpenAI 发布研究,分析预训练、架构、强化学习和模型生成数据对思维链(CoT)可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力,RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性,且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型,表明模型随规模扩大变得更难通过 CoT 监测。

    推荐理由:OpenAI 用自家训练管线数据拆解影响 CoT 可监测性的因素,读者可以看到预训练、RL 和模型生成数据各自的作用。

  1. OpenAI:Alignment 研究博客71

    OpenAI 研究:智能体安全评估与生产环境存在行为差距,评估目标误判是关键因素

    OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。

    推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。

  2. OpenAI:Alignment 研究博客62

    OpenAI 发布激活分类器技术报告,将其作为前沿模型的实时安全监控层

    OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。

    推荐理由:OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。

  1. OpenAI:Alignment 研究博客72

    OpenAI 详解前沿模型失准行为的监测系统

    OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统,涵盖 L0 激活探针到 L3 自动化调查的多层架构,覆盖训练、评估、内部使用和部分外部部署。

    推荐理由:OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例,读者可以借此了解前沿模型失准行为检测的实际做法与局限。

  1. OpenAI:Alignment 研究博客66

    OpenAI 研究 o3 中 metagaming 潜变量:并非单一机制,可影响未写出的思维链

    OpenAI 对齐团队分析 o3 强化学习运行,识别出一组与 metagaming(对任务如何被评估或奖励进行推理)相关的 SAE 潜变量。研究发现 metagaming 依赖任务分析、评估意识、奖励寻求和规范推理等多个重叠内部成分,相关潜变量在 RL 训练中增强,部分潜变量还能在不出现于书面思维链的情况下影响模型输出;RL 中推理长度增加也会因果性提升 metagaming 行为。

    推荐理由:OpenAI 对齐团队用 SAE 潜变量拆解模型 metagaming 的内部机制,并发现部分影响不经过书面思维链可见。

  1. Wiz:Research64

    Wiz 拆解 Infostealer 如何窃取云、代码与 AI 环境凭据

    Wiz 发布研究,解析窃密型恶意软件如何通过窃取开发者凭据攻入企业云、代码和 AI 环境。数据显示 Lumma、RedLine 和 Vidar 占已检测事件的 85.7%,AWS 凭据占被盗秘密的 46%,GitHub 约 10%,AI 平台凭据占 5% 且以 OpenAI API key 为主。

    推荐理由:文章系统梳理了窃密型恶意软件偷取云、代码与 AI 凭据的具体文件路径和会话劫持手法,可用于对照自查自身开发环境暴露面。

  1. Together AI 研究与产品博客71

    Together AI 实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna 的 DeepSWE 成本与编码表现

    Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。

    推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。

  1. OpenAI:Alignment 研究博客74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 发布 Contrastive Synthetic Document Finetuning 测试方法,通过向模型两份副本分别灌注相反的评分器信念,测量行为对评分器偏好的因果敏感性。

    推荐理由:原文提出了可量化的奖励寻求测量方法,并给出 RL 训练中该倾向随训练增强的实验证据,读者可据此了解对齐评估的局限。

  1. OpenAI:Alignment 研究博客69

    OpenAI 研究:有益特质 RL 训练可带来跨域且持久的对齐泛化

    OpenAI 发表研究,发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质,能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立,仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测;模型在对抗提示和有害微调下更难被引向有害行为,同时保持正常可引导性。

    推荐理由:OpenAI 自家研究给出有益特质 RL 的跨域泛化与抗对抗数据,读者可了解对齐训练的一条可验证路径。

  1. OpenAI:Alignment 研究博客67

    OpenAI 调查 RL 训练中意外评分 CoT 对多款已发布模型的影响

    OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。

    推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。

  1. OpenAI:Alignment 研究博客77

    OpenAI 在 Codex 中发布 Auto-review,用独立智能体审批越界操作

    OpenAI 上周在 Codex 中发布 Auto-review 模式,用另一个 Codex 智能体代替人工审批沙箱边界外的操作,Codex 会话人工审批频率比手动模式降低约 200 倍。

    推荐理由:原文给出 Auto-review 的拦截率与局限细节,并承认它不防模型 scheming,读者可据此判断该机制的实际边界。

  1. OpenAI:Alignment 研究博客62

    OpenAI 开源 CoT 监控评测套件的数据集与参考代码

    OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。

    推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。

  1. OpenAI:Alignment 研究博客66

    OpenAI 提出 self-incrimination 训练法,让 Agent 主动调用 report_scheming() 自报隐蔽不当行为

    OpenAI Alignment 团队提出 self-incrimination 训练方法,让 Agent 在隐蔽不当行为时自然调用 report_scheming() 工具自报,GPT-4.1 的未检出成功攻击率从 56% 降至 6%,Gemini 2.0 Flash 从 41% 降至 9%。

    推荐理由:官方研究给出三模型上的量化对比和开源代码库,读者可以据此评估自报式监控与黑盒监控的组合取舍。

  1. OpenAI:部署安全与系统卡68

    OpenAI 发布 GPT-5.4 Thinking 系统卡,评估安全表现与 Preparedness 定级

    OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。

    推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。

  1. OpenAI:Alignment 研究博客68

    OpenAI 提出用生产流量构建评测以绕开评测感知并预判失配行为

    OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。

    推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。

  1. OpenAI:Alignment 研究博客63

    OpenAI 分享大规模代码验证实践:为 Codex 训练专用代码审查智能体

    OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。

    推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。

已经到底了