苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率
Apple 与哈佛大学研究者的论文提出加权状态汤(weighted state souping)方法,通过学习依赖查询的权重来组合缓存的 SSM 状态编码,被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能,稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
Apple 与哈佛大学研究者的论文提出加权状态汤(weighted state souping)方法,通过学习依赖查询的权重来组合缓存的 SSM 状态编码,被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能,稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
Apple 与哈佛大学的研究人员通过理论与实验分析,门控机制导致 SSM 在训练中先学到“权重内记忆”方案,从而延迟甚至阻止其收敛到正确的上下文学习解,即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称,但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力,为理解和改进线性时间模型提供了基础。
Google DeepMind 发布新一代 DNA 序列模型 AlphaGenome 2,可预测 DNA 序列及其变异如何影响数百种人类细胞类型。模型改为条件式架构,在 68 种组织超过 1.07 亿个单细胞图谱上训练,新增 DNA 甲基化预测;在 TenK10K 数据集上识别的因果变异数量约为原模型的两倍(30% vs. 16%)。
推荐理由:原文给出架构改进、TenK10K 对比数字和 API 开放范围,读者可据此评估它对疾病变异研究的实际价值。
Google DeepMind 发布 Gemini 4 Carbon,定位为最强前沿模型,面向网络安全能力与复杂知识工作、软件工程和科学推理中的长程智能体工作流。
推荐理由:Google DeepMind 官方发布 Gemini 4 Carbon,给出基准成绩、定价和获取渠道,可据此判断它适合哪些高难度工作流。
OpenAI 发布研究,分析预训练、架构、强化学习和模型生成数据对思维链(CoT)可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力,RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性,且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型,表明模型随规模扩大变得更难通过 CoT 监测。
推荐理由:OpenAI 用自家训练管线数据拆解影响 CoT 可监测性的因素,读者可以看到预训练、RL 和模型生成数据各自的作用。
Anthropic 与 Diode Computers 合作,让 Claude Fable 5.2 设计扬声器电话、语音助手中枢和手持电子宠物三款设备,模型完成了原理图、PCB 布局、3D 外壳、固件和物料清单,Diode 直接按其设计文件制造的三个原型均可运行。
推荐理由:官方实测记录了 Claude Fable 5.2 从原理图到固件完成三台设备设计的过程与基准分数,读者可以据此评估模型在硬件工程任务上的实际能力。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,同时新增 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配,先对齐核再用无截断的 token 级重要性采样即可稳定训练,无需拒绝门。
推荐理由:论文拆解异步 RL 的两类差距,并给出核对齐加未截断重要性采样的完整配方与开源代码,读者可复现到自家训练流程。
vLLM 团队讲解如何把 vLLM CUDA 构建迁移到 LibTorch Stable ABI,自 v0.33.0 起发布 ABI Stable CUDA wheels,使更换 torch wheel 无需重建 vLLM。
Anthropic Research 发文讨论 AI 参与科学建模的三步流程,即构建模型、约束模型和解释模型,并以 1951 年 Hodgkin 和 Huxley 用手摇计算器求解神经元方程的历史为例。文章指出拟合数据不等于理解,AI 系统应借助贝叶斯推断和基于模拟的推断(SBI)返回参数与模型的分布而非单一最优拟合,解释是最难交给 AI 的一步;AI 建模系统目前大多只测试过重新发现已知模型。
Apple 研究人员在 ICML 2026 论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中提出用小型神经网络加速最大内积搜索(MIPS),以提升 RAG 等检索效率。
Thinking Machines 发布 Inkling 2 Small,Artificial Analysis Intelligence Index 得分 31,较 Inkling Small 提升 18 分,计划以 Apache 2.0 发布权重,若落地将成为中国以外得分最高的开源权重模型。
推荐理由:Artificial Analysis 给出独立跑分与成本细节,读者可对比 Gemini 3.8 Flash 等模型判断其智能体与编码能力定位。
Artificial Analysis 报道,BOSS 直聘旗下 Nanbeige 发布开源权重推理模型 Nanbeige4.3-33B,在 Artificial Analysis Intelligence Index v5 上得 20 分,与 Qwen3.8 27B (xhigh) 持平。
Together AI 推出 Together Compiler(TKCC),首个利用高吞吐智能体对不同推理工作负载进行持续优化的编译系统。
vLLM 官方博客宣布为月之暗面 2.8T 参数(104B 激活)的 Kimi K3.1 Pro 提供 day-0 支持,该开源 MoE 模型具备 1M token 上下文,并在 24 个全注意力层新增 Sparse Attention(DSA)。
推荐理由:原文给出 K3.1 Pro 的 DSA 稀疏注意力细节和多平台 day-0 性能数据,读者可以据此评估长上下文与智能体服务的部署收益。
Google DeepMind 为 Google Antigravity 发布 Cheminformatics Skills,把其变成面向计算与实验化学家的科学工作台。
Zyphra 提出 Zyphra Hierarchical Attention(ZHA),通过对 KV cache 构建层级树并使用 top-p 路由进行粗到细搜索,实现次二次复杂度的稀疏注意力。
Sakana AI 于2026年10月26日在东京举办研讨会,宣布启动自有模型预训练,推出从零构建的智能体原生语言模型系列 Sakana Sawara(暂定名)。
OpenRouter 通过 11 个隐藏测试编码任务、Claude Code 修 bug 任务和 GPQA Diamond、τ-bench 等跑分,给出三档 Claude 5.5 的选型建议。
推荐理由:OpenRouter 用同一批隐藏测试实测三档 Claude 5.5 的通过率与成本,结论可迁移到日常选型决策。
Mistral 发布 Mistral Large 4(Le Chonk)开放权重,为 1 万亿参数原生多模态模型,在欧洲基础设施上从零训练。
推荐理由:官方放出完整权重与各基准数字,可据此比较该模型在编码、安全与成本效率上的定位,并判断自部署可行性。
OpenRouter 宣布自创立以来最大的一次路由算法升级,默认路由不再只按输入价格排序,而是综合有效价格、吞吐量、TTFT、限流与错误率、输出质量计算实时 Routing Cost 来分配流量。
推荐理由:OpenRouter 官方详解新路由算法的计分方式,并附上基于 2400 万请求的实验数据,读者可据此评估对自身推理成本与速度的影响。
Google Research 提出面向 LLM 持续学习的 sleep 框架,让模型在活跃交互与离线记忆巩固之间交替,将易失的短期上下文固化为长期参数。
Anthropic 发布与 BigHat Biosciences、Bristol Myers Squibb、Divergence Labs、Enveda、Generate Biomedicines、The Column Group 六家机构合作及自研药物发现的进展报告。
推荐理由:官方披露六家药企合作与自研管线的具体实验数字,可据此评估 Claude 在药物研发各环节的实际表现与局限。
vLLM 团队演示在单台 NVIDIA GB300 NVL72 机架上,通过 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash,运行 SemiAnalysis AgentX 达到每 GPU 954K tokens/s(P90 每用户 196 tokens/s),较此前单节点结果提升 7.9 倍,价格为 $38.96 per GPU-hour。
vLLM 在发布当天为 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
推荐理由:原文给出了多平台内核优化细节和 AgentX 实测吞吐数据,读者可以据此评估该模型在不同 GPU 上的部署性价比。
Microsoft Research 的 Xinzhi Zhang 与合作者 Zhao Song 证明 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明平面切割与任意形状切割的效率差异由通用常数界定,与维度无关。
推荐理由:研究者亲述如何用人工引导的智能体搜索与递归精化证明 KLS 猜想,展示了人机协作研究过程的可借鉴做法。
Zyphra 发布 Zyphra Optimization Engine(ZOE)第二波推理优化技术报告,针对 AMD Instinct MI355X 编写融合 MoE、DSA lightning indexer、CSA top-K 选择和 dual-scope decode 四个自定义 HIP kernel,并集成进其生产 fork 的 vLLM 和 SGLang。
推荐理由:Zyphra 以实测 roofline 为基准公开了 kernel 与端到端数据,长上下文 MoE 推理优化方法对同类工程工作有参考价值。
Fireworks AI 宣布 11 月 30 日前免费开放 Muse Glimmer 30B 的 SFT 训练,并公布用其训练 tuned Glimmer 预测 Kalshi 已结算市场结果的配方。
Sakana AI 将 Quality-Diversity 开放式探索应用于决策支持,提出推荐方法 QD-Rec,以候选和解释性假说的组合为推荐单位,循环执行候选选择、LLM 生成假说和基于生态位机制的档案更新,并在 GitHub 开源代码。
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一款 501B 参数、每 token 激活 23B 的 MoE,采用 DeepSeek-V3 式路由和混合滑动窗口与 NoPE 注意力。
推荐理由:vLLM 官方详述 Beam 模型架构与逐项优化数据,部署者可以直接照抄配置和权衡结论上手。
Anthropic 让 Claude Mythos 5 在闭环流程中设计量子电路:模型用 Python 提出方案,由外部评估程序验证正确性并按 qubit 数乘以 gate 数打分,无需人工介入。
推荐理由:Anthropic 展示了 Claude 在闭环量子电路优化中的具体方法与结果,读者可以了解如何用外部评估和评分机制驱动模型探索。
vLLM 团队详解在 AMD Instinct MI355X 上优化 Kimi K3 推理的工程实践。
Apple 机器学习研究团队对比了 LLM 智能体的两种工具发现架构:Retrieve-then-Plan(RtP)与 Plan-then-Retrieve(PtR)。
vLLM 官方博客发布训练-推理一致性方案:训练前向直接调用 vLLM 推理内核并改造为逐位一致,在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0,rollout 吞吐达高性能基线的 91.3%,而基线 KL 从 2e-3 升至 29.9 且奖励回落。
推荐理由:原文给出训练与推理逐位一致的完整方案和开源技能,读者可据此在新模型上复现真正的 on-policy RL。
vLLM 通过 PR #52228 为 Adaptive Verification(AV)新增在线拟合接受估计器,使缺少置信度头的 draft 模型(如 EAGLE、MTP、DFlash)也能使用该功能,通过 enable_adaptive_verification 开启。
Google 发布 Gemini 4 Argon 并全球开放,开发者经 AI Studio 与 Gemini API 使用,Google AI Ultra 及 Pro 订阅者可在 Gemini 应用、Antigravity 和 Search 的 AI Mode 中使用。
推荐理由:官方发布给出了定价、基准成绩和内部工程实绩,读者可以据此评估该模型在编码、科研和智能体场景的适用度。
IBM Research 讲解分布式推理如何在 vLLM、SGLang 等模型服务引擎之上协调集群级 LLM 推理流量。
vLLM 宣布现已支持 NVIDIA Vera Rubin NVL72,提供每日容器构建并支持 DeepSeek、Kimi、GLM 和 MiniMax 等模型。
OpenAI 对齐团队分析 o3 强化学习运行,识别出一组与 metagaming(对任务如何被评估或奖励进行推理)相关的 SAE 潜变量。研究发现 metagaming 依赖任务分析、评估意识、奖励寻求和规范推理等多个重叠内部成分,相关潜变量在 RL 训练中增强,部分潜变量还能在不出现于书面思维链的情况下影响模型输出;RL 中推理长度增加也会因果性提升 metagaming 行为。
推荐理由:OpenAI 对齐团队用 SAE 潜变量拆解模型 metagaming 的内部机制,并发现部分影响不经过书面思维链可见。
Inferact 与 vLLM 团队在 DeepSeek-V4.1-Flash 发布三周后,将 SemiAnalysis AgentX 基准性能较 day-0 提升约 5 倍,低并发提速 1.9 倍。