Zyphra 提出 Norm-Agnostic 残差网络(NAG):让深度成为可扩展的计算轴
Zyphra 介绍 Norm-Agnostic 残差网络(NAG),将 residual stream 拆分为方向与范数两条通路,各层只对归一化方向做受控正交旋转,范数单独传递,避免深层更新被不断增大的 residual stream 稀释。
Zyphra 介绍 Norm-Agnostic 残差网络(NAG),将 residual stream 拆分为方向与范数两条通路,各层只对归一化方向做受控正交旋转,范数单独传递,避免深层更新被不断增大的 residual stream 稀释。
Waymo 与 TU Delft 在 Nature Communications 发表 ReD(Reference Driver)研究,用主动推理框架模拟谨慎且胜任的人类驾驶员的避撞行为,作为评估 Waymo Driver 避撞能力的行为基准。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围控制和代码风格等维度衡量模型产出能否被开源维护者合并。
推荐理由:原文给出新基准的评分方法与各家模型分数,读者可以据此了解现有模型在代码可合并性上的真实差距。
Cognition 构建了一套自动化系统,用 AI 审查每个已完成的 Devin 会话,先分类是否有用,再估算人类工程师完成同样工作所需工时。系统基于 126 位用户的 258 个会话数据训练验证,模型 rlog 达 0.74 且无偏,PR 会话按是否合并过滤,非 PR 会话的分类器会剔除约 1−20% 的会话。该系统已在客户环境中运行,据称是首个在生产环境自动测量 AI 工程生产力的系统。
Zyphra Research 展示如何把 Equilibrium Propagation(EqProp)这一原本局限于 Energy-Based Models 的局部学习算法扩展到更广泛的 skew-gradient 系统,包括 FitzHugh-Nagumo 这类生物真实神经元模型。
METR 于 2026 年 2 月 16 日至 3 月 16 日开展试点,联合 Anthropic、Google、Meta、OpenAI 评估其内部 AI 智能体的错位风险。
推荐理由:METR 首份行业级试点评估,读者可从中了解四家头部公司内部 Agent 的失控风险现状与评估方法。
METR 于 2026 年 2-4 月调查 349 名技术工作者(含 87 名软件工程师、71 名研究人员、129 名学术人员和博士生、48 名创始人和管理者),受访者自报因 AI 工具带来的工作价值提升中位数为 1.4-2x,速度提升中位数为 3x;回溯估计 2025 年 3 月为 1.3x,预测 2027 年 3 月为 2.5x。
METR 发布对 Anthropic 2026 年 2 月风险报告中自动化研发风险章节的外部审阅,认为报告对 Claude Opus 4.6 灾难性风险极低的结论论证不足。METR 指出模型使用调查存在样本量、问题粒度和表述方式等问题,且未计入研发全面自动化前的 AI 加速可能。METR 同时同意结论本身,因为额外评估证据表明该模型尚无法在关键领域自动化研发。
METR 提出区分 AI 生产率提升(uplift)的三种度量:旧任务提升、新任务提升和价值提升,并论证在简化假设下三者满足「旧任务提升 ≤ 价值提升 ≤ 新任务提升」的排序,对应价格指数理论中的经典不等式。
OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。
推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。
Zyphra 发布 Tensor and Sequence Parallelism(TSP),一种将 TP 与 SP 折叠到同一设备维度的并行切分策略,用于训练和推理长上下文 Transformer 模型。
Factory 发布代码审查基准结果,用 50 个来自 Sentry、Grafana、Keycloak、Discourse、Cal.com 的真实 PR 测试 13 款模型。
OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。
推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。
METR 发布对 NanoGPT speedrun 的分析,从 2024 年 5 月到 2026 年 3 月,36 位贡献者提交 77 条记录,将 8×H100 训练时间从 45 分钟压到 1.43 分钟,共 31x 加速。
Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。
Sayash Kapoor、Arvind Narayanan 等发布约 8000 字论文,提出用 open-world evaluations 弥补基准饱和的盲区,并成立由 17 名研究者组成的 CRUX 项目。
METR 发布 MirrorCode 初步研究,认为证据显示 AI 已能完成部分持续数周长度的编码任务。
METR 发文报告对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个开源推理模型用仅 240 个样本(约 100K-300K token)的指令遵循推理数据微调,在分布外的 CoTControl 评测上可控性平均从 2.9% 升至 8.8%。
OpenAI 在类似 o4-mini 规模的模型上测试 Tice et al. 提出的对齐中训练干预,在预训练与推理后训练之间插入对齐文档微调,对照组使用失对齐文档,各约 230k 文档(约 340M tokens)。
OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 Model Spec 的程度,包含 596 条提示词、覆盖 225 个关注点,并开源评测代码。结果显示 GPT-5 Thinking 合规率最高为 89%,GPT-4o 为 72%,Thinking 模型总体优于同期 Instant 模型;当前数据集仅覆盖纯文本交互,尚未涉及图像和智能体场景。
Zyphra 介绍其混合关联记忆(HAM)架构,让 RNN 负责压缩总结序列内容,KV cache 仅存储 RNN 难以预测的 token,从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值,并测试了端到端可学习路由和指数深度平均(EDA)路由。在 800M 规模的对比实验中,HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。
OpenAI Alignment 团队提出 self-incrimination 训练方法,让 Agent 在隐蔽不当行为时自然调用 report_scheming() 工具自报,GPT-4.1 的未检出成功攻击率从 56% 降至 6%,Gemini 2.0 Flash 从 41% 降至 9%。
推荐理由:官方研究给出三模型上的量化对比和开源代码库,读者可以据此评估自报式监控与黑盒监控的组合取舍。
Berkeley AI Research 在博客中介绍两种可大规模识别 LLM 关键交互的算法 SPEX 与 ProxySPEX,核心思路是通过消融(ablation)检测模型行为的变化。
OpenAI 对齐团队提出 ARGO,用强化学习训练策略生成可解释的评分标准,使 LLM 评分器与黑盒奖励模型的偏好概率对齐。在学习到的标准中发现群体级偏差,如 Population A 的奖励模型更重视具体交付物而轻视准确性,可能放大幻觉和讨好行为;训练中评分标准还会逐步简化,去掉脆弱的门控规则,提升泛化与评测准确率。附录还显示前端奖励模型偏重视觉呈现而非功能正确性。
OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。
推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。
Sayash Kapoor、Arvind Narayanan 等人发布 66 页论文《Towards a Science of AI Agent Reliability》,已上传 arXiv,将可靠性分解为 12 个指标,并在 GAIA 和 TauBench 两个基准上测试了来自 OpenAI、Google、Anthropic 的 14 个模型,共执行 500 次基准运行。
OpenAI Alignment 团队提出一种方法,让内部推理模型作为 AI judges 分析生产对话中的情绪恶化信号,检测并诊断 ChatGPT 的失调行为,即使部分问题用户自己未察觉。
Zyphra 团队介绍其开发的 Online Vector-Quantized(OVQ)注意力层,一种在内存与计算开销和长上下文能力之间寻求更优折中的序列混合层。
OpenAI Alignment 团队发布 CoVal,一套将价值敏感提示与众包撰写的提示级评分条配对的实验性数据集,用于揭示人们对模型回复偏好的价值观原因。
OpenAI 研究人员 Boaz Barak 等发文详解其 confession 坦白论文的后续分析,说明为何将坦白作为对齐安全方向。核心机制是训练模型额外输出一份仅以诚实为奖励的报告,作者假设诚实是获取奖励的最省力路径;在字数约束实验中,即使任务判断模型被 hack,坦白判断准确率仍随训练升至接近 100%。
OpenAI 对齐研究团队基于 GPT-4o 的 2M-latent SAE 分析发现,坏建议微调不仅激活失对齐人格特征,还抑制有用助手人格特征。
OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。
推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。
Factory 构建了一套基于 probe 的评估框架,测量不同上下文压缩策略在长时间运行的 agent 会话中保留了多少有效信息。
OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。
推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。
OpenAI 可解释性团队提出用归因(attribution)筛选 SAE 潜变量,在两个案例(涌现失配、不当迎合)中计算正负补全对的归因差(Δ-attribution)选出 top-100 潜变量,再用激活转向和 GPT-5 评分验证因果性。
Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。
推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。
Cognition AI 与斯坦福团队发布 Kevin-32B,基于 QwQ-32B 用多轮强化学习训练 CUDA 内核生成,在 KernelBench 前两级任务上 8 轮细化后平均正确率 65%,解决 89% 的数据集,超过 o4-mini 的 53% 和 o3 的 51%,best@16 加速比 1.41x。
Cognition 发布博文,介绍过去数周用 OpenAI o1-mini 和 o1-preview 测试 Devin 自主编码任务的结果。