苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率
Apple 与哈佛大学研究者的论文提出加权状态汤(weighted state souping)方法,通过学习依赖查询的权重来组合缓存的 SSM 状态编码,被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能,稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
Apple 与哈佛大学研究者的论文提出加权状态汤(weighted state souping)方法,通过学习依赖查询的权重来组合缓存的 SSM 状态编码,被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能,稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
Apple 与哈佛大学的研究人员通过理论与实验分析,门控机制导致 SSM 在训练中先学到“权重内记忆”方案,从而延迟甚至阻止其收敛到正确的上下文学习解,即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称,但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力,为理解和改进线性时间模型提供了基础。
OpenAI 发布研究,分析预训练、架构、强化学习和模型生成数据对思维链(CoT)可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力,RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性,且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型,表明模型随规模扩大变得更难通过 CoT 监测。
推荐理由:OpenAI 用自家训练管线数据拆解影响 CoT 可监测性的因素,读者可以看到预训练、RL 和模型生成数据各自的作用。
MIT 与纽约大学研究者开发了机器人学习平台 FLEX,通过 GPT-4o 将自然语言指令泛化为对用户潜在偏好的理解,相关研究将在 Conference on Robot Learning 发表。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,同时新增 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配,先对齐核再用无截断的 token 级重要性采样即可稳定训练,无需拒绝门。
推荐理由:论文拆解异步 RL 的两类差距,并给出核对齐加未截断重要性采样的完整配方与开源代码,读者可复现到自家训练流程。
Dwarkesh Patel 花费约2万美元API额度让多个AI模型对打386局社交欺骗游戏 Blood on the Clocktower,构建了一个评测长线策略与多智能体协作的基准。
METR 发布对 Anthropic 2026 年 8 月风险报告自动化研发章节的独立复核,同意 7 月 15 日模型直接导致灾难性风险较低,但认为公开报告可能低估了当时已出现的 AI 研发加速。
Apple 研究人员在 ICML 2026 论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中提出用小型神经网络加速最大内积搜索(MIPS),以提升 RAG 等检索效率。
Ai2 推出 StateBench 基准,将长上下文状态追踪按难度分为 r-trivial、aperiodic、soluble、general finite 四级,并评测不同架构模型。
Zyphra 提出 Zyphra Hierarchical Attention(ZHA),通过对 KV cache 构建层级树并使用 top-p 路由进行粗到细搜索,实现次二次复杂度的稀疏注意力。
Google Research 提出面向 LLM 持续学习的 sleep 框架,让模型在活跃交互与离线记忆巩固之间交替,将易失的短期上下文固化为长期参数。
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据、代码和自动化构建管线,基于 ICLR 2026 同行评审构建高、低新颖性想法池,测试 LLM 新颖性评审的可靠性。
Redwood Research 撰文论证,对齐等重要工作依赖难以直接验证、需非形式先验推理的概念推理能力,AI 社区目前在此投入不足。他们认为这类能力的提升是差异性的——AI R&D 和接管更多依赖可验证任务,因此概念推理进步对安全工作的帮助大于通用能力。其初步工作显示,few-shot 提示和小规模训练可让模型在其概念推理 benchmark 上提前约三到十二个月达到前沿水平。
Microsoft Research 的 Xinzhi Zhang 与合作者 Zhao Song 证明 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明平面切割与任意形状切割的效率差异由通用常数界定,与维度无关。
推荐理由:研究者亲述如何用人工引导的智能体搜索与递归精化证明 KLS 猜想,展示了人机协作研究过程的可借鉴做法。
Zyphra 发布 Zyphra Optimization Engine(ZOE)第二波推理优化技术报告,针对 AMD Instinct MI355X 编写融合 MoE、DSA lightning indexer、CSA top-K 选择和 dual-scope decode 四个自定义 HIP kernel,并集成进其生产 fork 的 vLLM 和 SGLang。
推荐理由:Zyphra 以实测 roofline 为基准公开了 kernel 与端到端数据,长上下文 MoE 推理优化方法对同类工程工作有参考价值。
Sakana AI 将 Quality-Diversity 开放式探索应用于决策支持,提出推荐方法 QD-Rec,以候选和解释性假说的组合为推荐单位,循环执行候选选择、LLM 生成假说和基于生态位机制的档案更新,并在 GitHub 开源代码。
Anthropic 让 Claude Mythos 5 在闭环流程中设计量子电路:模型用 Python 提出方案,由外部评估程序验证正确性并按 qubit 数乘以 gate 数打分,无需人工介入。
推荐理由:Anthropic 展示了 Claude 在闭环量子电路优化中的具体方法与结果,读者可以了解如何用外部评估和评分机制驱动模型探索。
Apple 机器学习研究团队对比了 LLM 智能体的两种工具发现架构:Retrieve-then-Plan(RtP)与 Plan-then-Retrieve(PtR)。
MIT 团队在 Nature 发表论文,提出用机器学习后处理层纠正现有预报模型的误差,将 2-6 周(次季节)时段的预报精度翻倍,在 ECMWF 举办国际预报竞赛中获第一名,并首次在该时段超越气候长期平均值。该方法可作为附加组件用于任意预报模型,还能显著改善极端天气(如洪水、寒潮)的预测,肯尼亚气象部门已接洽用于季风季预报以支持农业。
Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers",提出复用预训练 Transformer 权重初始化混合架构的 priming 方法,将预训练成本降低超过 99%,整个流程消耗不到源模型预训练 token 预算的 0.5%。
OpenAI 对齐团队分析 o3 强化学习运行,识别出一组与 metagaming(对任务如何被评估或奖励进行推理)相关的 SAE 潜变量。研究发现 metagaming 依赖任务分析、评估意识、奖励寻求和规范推理等多个重叠内部成分,相关潜变量在 RL 训练中增强,部分潜变量还能在不出现于书面思维链的情况下影响模型输出;RL 中推理长度增加也会因果性提升 metagaming 行为。
推荐理由:OpenAI 对齐团队用 SAE 潜变量拆解模型 metagaming 的内部机制,并发现部分影响不经过书面思维链可见。
Anthropic 发布研究,用 Claude 对 O*NET 约 19000 个工作任务评级,构建机器人暴露指数,发现当前机器人能完成美国 74% 的体力任务(占 34% 工时),但仅在受限环境中,且只在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价速度要 40 年才达 10%。
推荐理由:研究用 Claude 给 19000 个工作任务评机器人暴露度,给出能力与成本两条量化门槛,可帮读者判断哪些体力工作最先受冲击。
Redwood Research 测量 GPT-6-Astra 在提示中加入无意义填充 token 且被要求不作推理时立即作答的表现。
Amazon Bio Discovery 团队发表三篇论文,研究抗体药物设计的三个关键问题。
RAND 发布长篇报告,认为美国应对「通往超智能的不确定路径」的最佳策略是「自由行动」(Freedom of Action)战略,即现阶段投入资金保留所有选项。报告分析了七大原型战略(分属共存、阻止、加速三族)和五大关键不确定性,包括危险临近程度、共存可行性、决定性战略优势是否可达成等。
Fireworks AI 分析 DeepSWE v1.1 基准上 18 个模型的任务级路由潜力:事后最优路由可达 97.6% 通过率、每任务 $1.88,比最佳单模型 GPT-6 Astra 的 74.1%($6.52)高出 23 个百分点且成本不到三分之一;仅用开源权重模型也达 90.3%、$1.45。
SemiAnalysis 在自研 AgentX 智能体推理基准上发布了 Vera Rubin NVL72 的首批实测结果。
Redwood Research 博客报告,CoTControl 评测要求推理模型在思维链中遵守小写、禁用词等格式约束,近期多数模型仅得 0-30%。
Redwood Research 为不可言语化的串行认知量提出可操作化度量 NLS depth,将 GDM 论文(Brown-Cohen et al, 2026)中“opaque serial depth”的概念具体化。
Amazon Science 发表论文《What fits (into few tokens) doesn't overfit》,用可重置的 LLM 研究智能体解释为何基准驱动的机器学习研究没有像教科书预测的那样普遍过拟合:能胜出的策略高度可压缩,短描述装不下对验证集的记忆。
Dwarkesh Patel 通过训练 2019 到 2025 各年代表性模型配方与数据语料的组合(最高 1e19 FLOPs),发现数据改进带来的计算效率增益为 12.0x,模型改进为 3.7x,数据贡献约 3.24 倍于模型,且两者增益基本相互独立,线性模型可解释 88% 的 OLMES 分数方差。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。
推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。
METR 的 Parker 与 Tom 联合 7 位经济学家发表论文《The Economics of Recursive Self-Improvement》,通过一系列简单模型分析 AI 加速 AI 研发的反馈效应强度。论文认为无法排除能力出现持续快速加速的可能,但数据、训练算力、推理算力或实验等瓶颈也可能使加速放缓。作者还呼吁实验室发布更多相关数据,并给出了一份未来发布的“愿望清单”。
Zyphra 介绍 Norm-Agnostic 残差网络(NAG),将 residual stream 拆分为方向与范数两条通路,各层只对归一化方向做受控正交旋转,范数单独传递,避免深层更新被不断增大的 residual stream 稀释。
Zyphra Research 展示如何把 Equilibrium Propagation(EqProp)这一原本局限于 Energy-Based Models 的局部学习算法扩展到更广泛的 skew-gradient 系统,包括 FitzHugh-Nagumo 这类生物真实神经元模型。
Zyphra 基于 Zyphra Cloud 发布了 Zyphra Inference 在 AMD Instinct MI355X 单节点上的首个端到端推理基准,对比对象包括 AMD MI355X 基线与 Nvidia B200 配置,测试模型为 Kimi K2.6、GLM 5.1 和 DeepSeek-V3.2,指标覆盖 TTFT 与输出吞吐。
METR 提出区分 AI 生产率提升(uplift)的三种度量:旧任务提升、新任务提升和价值提升,并论证在简化假设下三者满足「旧任务提升 ≤ 价值提升 ≤ 新任务提升」的排序,对应价格指数理论中的经典不等式。
OpenAI 披露其自动检测系统发现 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini、GPT-5.4 mini 的部分 RL 训练意外评分了思维链,GPT-5.5 未受影响。
推荐理由:原文披露了意外 CoT 评分的具体影响范围和消融分析,读者可以据此判断这类事件对思维链可监测性的实际风险。
Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。