跳到正文
6月16日周二
6月10日周三
6月9日周二
6月4日周四
  1. Cognition 模型 / Devin 博客49

    Cognition 构建自动化系统,估算 Devin 每次会话相当于多少人类工程师工时

    Cognition 构建了一套自动化系统,用 AI 审查每个已完成的 Devin 会话,先分类是否有用,再估算人类工程师完成同样工作所需工时。系统基于 126 位用户的 258 个会话数据训练验证,模型 rlog 达 0.74 且无偏,PR 会话按是否合并过滤,非 PR 会话的分类器会剔除约 1−20% 的会话。该系统已在客户环境中运行,据称是首个在生产环境自动测量 AI 工程生产力的系统。

5月22日周五
5月20日周三
5月11日周一
  1. METR:Blog55

    METR 调查 349 名技术工作者:自报 AI 价值提升中位数 1.4-2x、速度提升 3x

    METR 于 2026 年 2-4 月调查 349 名技术工作者(含 87 名软件工程师、71 名研究人员、129 名学术人员和博士生、48 名创始人和管理者),受访者自报因 AI 工具带来的工作价值提升中位数为 1.4-2x,速度提升中位数为 3x;回溯估计 2025 年 3 月为 1.3x,预测 2027 年 3 月为 2.5x。

5月8日周五
  1. METR:Blog54

    METR 审阅 Anthropic 2026 年 2 月风险报告自动化研发风险章节

    METR 发布对 Anthropic 2026 年 2 月风险报告中自动化研发风险章节的外部审阅,认为报告对 Claude Opus 4.6 灾难性风险极低的结论论证不足。METR 指出模型使用调查存在样本量、问题粒度和表述方式等问题,且未计入研发全面自动化前的 AI 加速可能。METR 同时同意结论本身,因为额外评估证据表明该模型尚无法在关键领域自动化研发。

5月7日周四
  1. OpenAI:Alignment 研究博客67

    OpenAI 调查 RL 训练中意外评分 CoT 对多款已发布模型的影响

    OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。

    推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。

5月4日周一
4月29日周三
4月24日周五
  1. OpenAI:Alignment 研究博客62

    OpenAI 开源 CoT 监控评测套件的数据集与参考代码

    OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。

    推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。

4月21日周二
4月20日周一
  1. Berkeley AI Research44

    GRASP:如何在长时序世界模型中实现基于梯度的规划

    Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。

4月17日周五
4月10日周五
4月1日周三
3月28日周六
3月26日周四
  1. OpenAI:Alignment 研究博客54

    OpenAI 发布 Model Spec Evals 评测套件,公开 596 条提示词与评测代码

    OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 Model Spec 的程度,包含 596 条提示词、覆盖 225 个关注点,并开源评测代码。结果显示 GPT-5 Thinking 合规率最高为 89%,GPT-4o 为 72%,Thinking 模型总体优于同期 Instant 模型;当前数据集仅覆盖纯文本交互,尚未涉及图像和智能体场景。

3月25日周三
  1. Zyphra Research43

    Zyphra 提出 HAM:用 RNN 与 KV cache 互补的混合关联记忆架构

    Zyphra 介绍其混合关联记忆(HAM)架构,让 RNN 负责压缩总结序列内容,KV cache 仅存储 RNN 难以预测的 token,从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值,并测试了端到端可学习路由和指数深度平均(EDA)路由。在 800M 规模的对比实验中,HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。

3月22日周日
  1. OpenAI:Alignment 研究博客66

    OpenAI 提出 self-incrimination 训练法,让 Agent 主动调用 report_scheming() 自报隐蔽不当行为

    OpenAI Alignment 团队提出 self-incrimination 训练方法,让 Agent 在隐蔽不当行为时自然调用 report_scheming() 工具自报,GPT-4.1 的未检出成功攻击率从 56% 降至 6%,Gemini 2.0 Flash 从 41% 降至 9%。

    推荐理由:官方研究给出三模型上的量化对比和开源代码库,读者可以据此评估自报式监控与黑盒监控的组合取舍。

3月13日周五
3月12日周四
  1. OpenAI:Alignment 研究博客57

    OpenAI 发布 ARGO 方法,将黑盒奖励模型蒸馏为可解释评分标准

    OpenAI 对齐团队提出 ARGO,用强化学习训练策略生成可解释的评分标准,使 LLM 评分器与黑盒奖励模型的偏好概率对齐。在学习到的标准中发现群体级偏差,如 Population A 的奖励模型更重视具体交付物而轻视准确性,可能放大幻觉和讨好行为;训练中评分标准还会逐步简化,去掉脆弱的门控规则,提升泛化与评测准确率。附录还显示前端奖励模型偏重视觉呈现而非功能正确性。

3月5日周四
  1. OpenAI:部署安全与系统卡68

    OpenAI 发布 GPT-5.4 Thinking 系统卡,评估安全表现与 Preparedness 定级

    OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。

    推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。

2月24日周二
2月7日周六
2月5日周四
1月15日周四
1月13日周二
  1. OpenAI:Alignment 研究博客56

    OpenAI 解释为何看好模型 confession 坦白机制作为对齐方向

    OpenAI 研究人员 Boaz Barak 等发文详解其 confession 坦白论文的后续分析,说明为何将坦白作为对齐安全方向。核心机制是训练模型额外输出一份仅以诚实为奖励的报告,作者假设诚实是获取奖励的最省力路径;在字数约束实验中,即使任务判断模型被 hack,坦白判断准确率仍随训练升至接近 100%。

2025年12月23日周二
2025年12月19日周五
  1. OpenAI:Alignment 研究博客68

    OpenAI 提出用生产流量构建评测以绕开评测感知并预判失配行为

    OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。

    推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。

2025年12月16日周二
2025年12月2日周二
  1. OpenAI:Alignment 研究博客63

    OpenAI 分享大规模代码验证实践:为 Codex 训练专用代码审查智能体

    OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。

    推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。

2025年8月5日周二
  1. Goodfire Research60

    Anthropic、Goodfire 等多机构发布电路研究全景:复现 attribution graph 并开源工具

    Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。

    推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。

2025年5月6日周二
2024年9月12日周四