跳到正文
今天11月12日周四2 条
  1. Apple Machine Learning Research41

    苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率

    Apple 与哈佛大学研究者的论文提出加权状态汤(weighted state souping)方法,通过学习依赖查询的权重来组合缓存的 SSM 状态编码,被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能,稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。

  2. Apple Machine Learning Research45

    门控机制的重要性:SSM 中的记忆与上下文学习之争

    Apple 与哈佛大学的研究人员通过理论与实验分析,门控机制导致 SSM 在训练中先学到“权重内记忆”方案,从而延迟甚至阻止其收敛到正确的上下文学习解,即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称,但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力,为理解和改进线性时间模型提供了基础。

11月10日周二
  1. OpenAI:Alignment 研究博客76

    OpenAI 研究预训练、RL 与模型生成数据如何影响 CoT 可监测性

    OpenAI 发布研究,分析预训练、架构、强化学习和模型生成数据对思维链(CoT)可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力,RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性,且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型,表明模型随规模扩大变得更难通过 CoT 监测。

    推荐理由:OpenAI 用自家训练管线数据拆解影响 CoT 可监测性的因素,读者可以看到预训练、RL 和模型生成数据各自的作用。

11月9日周一
11月6日周五
  1. vLLM 官方博客68

    REINFORCE Zero 论文提出核对齐实现稳定异步 RL,覆盖 DeepSeek-V4.1 与 Kimi K3.1

    NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配,先对齐核再用无截断的 token 级重要性采样即可稳定训练,无需拒绝门。

    推荐理由:论文拆解异步 RL 的两类差距,并给出核对齐加未截断重要性采样的完整配方与开源代码,读者可复现到自家训练流程。

11月5日周四
11月3日周二
11月2日周一
10月28日周三
10月27日周二
  1. Redwood Research:Blog44

    Redwood Research:为何应加速提升 AI 的概念推理能力

    Redwood Research 撰文论证,对齐等重要工作依赖难以直接验证、需非形式先验推理的概念推理能力,AI 社区目前在此投入不足。他们认为这类能力的提升是差异性的——AI R&D 和接管更多依赖可验证任务,因此概念推理进步对安全工作的帮助大于通用能力。其初步工作显示,few-shot 提示和小规模训练可让模型在其概念推理 benchmark 上提前约三到十二个月达到前沿水平。

10月22日周四
  1. Microsoft Research77

    Microsoft Research 证明 31 年悬而未决的 KLS 猜想

    Microsoft Research 的 Xinzhi Zhang 与合作者 Zhao Song 证明 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明平面切割与任意形状切割的效率差异由通用常数界定,与维度无关。

    推荐理由:研究者亲述如何用人工引导的智能体搜索与递归精化证明 KLS 猜想,展示了人机协作研究过程的可借鉴做法。

10月20日周二
  1. Zyphra Research65

    Zyphra 发布 ZOE 第二波 MI355X 推理优化报告,GLM-5.3 长上下文 TTFT 提速至 3.6x

    Zyphra 发布 Zyphra Optimization Engine(ZOE)第二波推理优化技术报告,针对 AMD Instinct MI355X 编写融合 MoE、DSA lightning indexer、CSA top-K 选择和 dual-scope decode 四个自定义 HIP kernel,并集成进其生产 fork 的 vLLM 和 SGLang。

    推荐理由:Zyphra 以实测 roofline 为基准公开了 kernel 与端到端数据,长上下文 MoE 推理优化方法对同类工程工作有参考价值。

10月19日周一
10月16日周五
  1. Anthropic:Research68

    Anthropic 用 Claude 设计更高效的量子电路,在 8 项任务上超越已发表最优设计

    Anthropic 让 Claude Mythos 5 在闭环流程中设计量子电路:模型用 Python 提出方案,由外部评估程序验证正确性并按 qubit 数乘以 gate 数打分,无需人工介入。

    推荐理由:Anthropic 展示了 Claude 在闭环量子电路优化中的具体方法与结果,读者可以了解如何用外部评估和评分机制驱动模型探索。

10月15日周四
10月14日周三
  1. MIT News64

    MIT 团队用 AI 纠错方法将 2-6 周天气预报精度翻倍并登顶 ECMWF 预测竞赛

    MIT 团队在 Nature 发表论文,提出用机器学习后处理层纠正现有预报模型的误差,将 2-6 周(次季节)时段的预报精度翻倍,在 ECMWF 举办国际预报竞赛中获第一名,并首次在该时段超越气候长期平均值。该方法可作为附加组件用于任意预报模型,还能显著改善极端天气(如洪水、寒潮)的预测,肯尼亚气象部门已接洽用于季风季预报以支持农业。

10月13日周二
10月7日周三
  1. OpenAI:Alignment 研究博客66

    OpenAI 研究 o3 中 metagaming 潜变量:并非单一机制,可影响未写出的思维链

    OpenAI 对齐团队分析 o3 强化学习运行,识别出一组与 metagaming(对任务如何被评估或奖励进行推理)相关的 SAE 潜变量。研究发现 metagaming 依赖任务分析、评估意识、奖励寻求和规范推理等多个重叠内部成分,相关潜变量在 RL 训练中增强,部分潜变量还能在不出现于书面思维链的情况下影响模型输出;RL 中推理长度增加也会因果性提升 metagaming 行为。

    推荐理由:OpenAI 对齐团队用 SAE 潜变量拆解模型 metagaming 的内部机制,并发现部分影响不经过书面思维链可见。

9月30日周三
  1. Anthropic:Research70

    Anthropic 研究用 Claude 测算机器人对美国体力工作的影响

    Anthropic 发布研究,用 Claude 对 O*NET 约 19000 个工作任务评级,构建机器人暴露指数,发现当前机器人能完成美国 74% 的体力任务(占 34% 工时),但仅在受限环境中,且只在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价速度要 40 年才达 10%。

    推荐理由:研究用 Claude 给 19000 个工作任务评机器人暴露度,给出能力与成本两条量化门槛,可帮读者判断哪些体力工作最先受冲击。

9月23日周三
9月22日周二
9月21日周一
  1. Import AI43

    Import AI 473:RAND 提出「保持行动自由」的超智能战略;人脑组织嵌入小鼠大脑;机器诠释学

    RAND 发布长篇报告,认为美国应对「通往超智能的不确定路径」的最佳策略是「自由行动」(Freedom of Action)战略,即现阶段投入资金保留所有选项。报告分析了七大原型战略(分属共存、阻止、加速三族)和五大关键不确定性,包括危险临近程度、共存可行性、决定性战略优势是否可达成等。

9月15日周二
9月12日周六
9月11日周五
9月10日周四
9月9日周三
8月6日周四
  1. Together AI 研究与产品博客71

    Together AI 实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna 的 DeepSWE 成本与编码表现

    Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。

    推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。

7月22日周三
  1. METR:Blog47

    METR 与 7 位经济学家合著论文分析递归自我改进的经济学

    METR 的 Parker 与 Tom 联合 7 位经济学家发表论文《The Economics of Recursive Self-Improvement》,通过一系列简单模型分析 AI 加速 AI 研发的反馈效应强度。论文认为无法排除能力出现持续快速加速的可能,但数据、训练算力、推理算力或实验等瓶颈也可能使加速放缓。作者还呼吁实验室发布更多相关数据,并给出了一份未来发布的“愿望清单”。

6月16日周二
5月22日周五
5月18日周一
5月8日周五
5月7日周四
  1. OpenAI:Alignment 研究博客67

    OpenAI 调查 RL 训练中意外评分 CoT 对多款已发布模型的影响

    OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。

    推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。

4月20日周一
  1. Berkeley AI Research44

    GRASP:如何在长时序世界模型中实现基于梯度的规划

    Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。