苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率
Apple 与哈佛大学研究者的论文提出加权状态汤（weighted state souping）方法，通过学习依赖查询的权重来组合缓存的 SSM 状态编码，被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能，稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
#数据/训练
Apple Machine Learning ResearchAI 评分4141 Apple Machine Learning ResearchAI 评分4545 门控机制的重要性：SSM 中的记忆与上下文学习之争
Apple 与哈佛大学的研究人员通过理论与实验分析，门控机制导致 SSM 在训练中先学到“权重内记忆”方案，从而延迟甚至阻止其收敛到正确的上下文学习解，即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称，但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力，为理解和改进线性时间模型提供了基础。
Databricks：BlogAI 评分4444 Databricks 基准测试：Genie 借 Genie Ontology 实现 1.6 倍准确率、token 用量减半
Databricks 与 Turing 联合开发了一个企业数据智能体基准，在真实 Databricks 工作区中对比 Genie 与两个前沿智能体，以虚构英国能源公司 Calderwick Energy 的数据资产为题。
MIT NewsAI 评分4343 MIT 开源 CheMeleon 基础模型如何从少量数据预测分子行为
MIT 团队发布开源分子性质预测基础模型 CheMeleon，基于 ChemProp 构建，用来自 PubChem 的约 100 万个分子预训练，学习约 1600 种分子描述符，可针对新性质用少量数据微调。在 58 个测试案例中，该模型优于其他基础模型和经典专家模型；今年早些时候 OpenADMET 主办的竞赛中，前 20 名里有 9 名使用了 CheMeelon，目前已被多家制药公司采用。
Ai2 / Allen Institute for AIAI 评分5656 Ai2 发布开源机器人学习评测框架 ToyBlocks
Ai2 发布 ToyBlocks，这是其首个 FoundationWorld，一个围绕机械臂与桌面方块的开源仿真框架，可自动生成任务、技能和演示数据，用于受控研究机器人学习与评测。
vLLM 官方博客精选AI 评分6868 REINFORCE Zero 论文提出核对齐实现稳定异步 RL，覆盖 DeepSeek-V4.1 与 Kimi K3.1
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文，指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配，先对齐核再用无截断的 token 级重要性采样即可稳定训练，无需拒绝门。
推荐理由：论文拆解异步 RL 的两类差距，并给出核对齐加未截断重要性采样的完整配方与开源代码，读者可复现到自家训练流程。
Google Research精选AI 评分7070 Google Research 发布 AI-PPG-ACC-HTN 系统，用智能手表无袖带检测高血压迹象
Google Research 在 Nature 发表 AI-PPG-ACC-HTN 系统，用消费级智能手表的 PPG 和加速度传感器被动检测高血压迹象，无需袖带校准。
推荐理由：原文给出无需袖带校准的智能手表高血压筛查系统及与临床金标准对比的具体数据，读者可据此评估其筛查定位。
METR：Blog精选AI 评分7979 METR 发布对 Anthropic AI 研发加速的独立评估：2026 年 10 月能力进展速度约为历史 2 倍
METR 于 2026 年 8 月 12 日至 10 月 29 日对 Anthropic 开展高权限独立评估，结论是 Anthropic 模型能力进展速度约为 2024 年 3 月至 2025 年 10 月历史速率的 2 倍，AECI 基准估计加速 1.9 倍（95% 置信区间 1.5–2.8 倍），相当于一年完成了过去约两年的进展。
推荐理由：METR 独立评估 Anthropic 内部数据后给出约 2 倍研发加速的量化估计，并公开了哪些关键证据因保密被删节，读者可据此判断证据局限。
Anthropic：Research精选AI 评分7070 Anthropic 分析 20.7 万 Claude 科研会话：用量追踪 AI 能力，广泛采用可让部分领域产出翻倍
Anthropic 基于隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日的 207,049 个 Claude 与 Claude Code 科研会话，并辅以 528 名科学家调查。
推荐理由：Anthropic 用隐私保护方法分析 20.7 万科研会话，给出 AI 在各学科的用量分布和加速情景，读者可据此判断 AI 科研的真实使用格局。
Ai2 / Allen Institute for AIAI 评分5151 Ai2 发布 StateBench 基准，测试语言模型在长文档中的状态追踪能力
Ai2 推出 StateBench 基准，将长上下文状态追踪按难度分为 r-trivial、aperiodic、soluble、general finite 四级，并评测不同架构模型。
Google ResearchAI 评分5353 Google Research 提出 sleep 框架让 LLM 在持续学习中保留知识
Google Research 提出面向 LLM 持续学习的 sleep 框架，让模型在活跃交互与离线记忆巩固之间交替，将易失的短期上下文固化为长期参数。
MIT NewsAI 评分5353 MIT 与 Whitehead 研究所发布 IRIS 模型解读细胞间通讯语言
MIT 与 Whitehead 研究所 Pulin Li 团队发现各信号通路会留下跨细胞类型一致的特征基因活动指纹，并发布机器学习模型 IRIS，可据此推断细胞在胚胎发育不同阶段接收的信号，即使对未见过的细胞类型也适用。
Apple Machine Learning ResearchAI 评分5151 Apple 发布三模态掩码扩散模型设计空间的系统研究
Apple 机器学习研究团队发布首个从零预训练的三模态 Masked Diffusion Models（MDM）论文，涵盖文本、图文与音频文本数据。
MIT NewsAI 评分4242 MIT 团队解析人工神经网络如何自组织构建学习机制
MIT McGovern 研究所与 ICoN 中心团队 10 月 9 日在 PNAS 发表论文，提出判断人工神经网络学习方式是否具备生物学合理性的关键指标是其能否在无开发者干预下自组织。他们构建了一个以随机连接起步、遵循“一起放电的神经元连在一起”等简单规则的网络，能通过自组装 motif 实现类似梯度下降的调整，识别图像和分类任务的表现与反向传播网络相当。
Amazon ScienceAI 评分5757 AWS 提出 priming 方法，用预训练 Transformer 权重低成本构建混合状态空间模型
Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers"，提出复用预训练 Transformer 权重初始化混合架构的 priming 方法，将预训练成本降低超过 99%，整个流程消耗不到源模型预训练 token 预算的 0.5%。
Redwood Research：BlogAI 评分6767 Redwood Research 发布论文，实验检验蒸馏用于指证失配与能力迁移
Redwood Research 发布论文，实验检验两种蒸馏方法。
Zyphra ResearchAI 评分4949 Zyphra 提出 MoE 预训练中的 Expert Coupling：降低 all-to-all 通信开销
Zyphra 利用 MoE 路由中的相关性结构，提出相关专家共置（correlated expert placement）与 token shuffling 两种方法，在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。
Zyphra ResearchAI 评分4545 Zyphra Research 解析混合 NoPE 模型如何在无位置编码下学到位置信息
Zyphra Research 研究发现，混合架构语言模型中滑动窗口注意力（SWA）和门控线性注意力等局部层会在残差流中自然产生 recency bias，使邻近 token 的表示更相似。全局 NoPE 注意力层的 query 和 key 投影会学会读取这种偏差，形成隐式相对位置编码。这解释了局部混合层与全局 NoPE 注意力交替的架构为何有效，并提示这类位置表示可自然外推到超出训练序列长度。
Amazon ScienceAI 评分6262 Amazon Bio Discovery 发表三篇论文：AI 设计并实验验证抗体
Amazon Bio Discovery 团队发表三篇论文，研究抗体药物设计的三个关键问题。
Google Blog：AIAI 评分5353 Google AI & Economy ATLAS 发布新数据可视化及科学家使用 AI 研究
Google 更新 AI & Economy ATLAS，上线交互式开放数据体验，并联合 Google DeepMind 与 MIT FutureTech 发布科学家使用 AI 的新研究。
Ai2 / Allen Institute for AIAI 评分5252 Goodfire 用 Ai2 开放后训练栈追踪 Olmo 3 的安全回归
Goodfire 基于 Ai2 完全开放的后训练栈，展示了如何在偏好训练前预测行为变化、把 Olmo 3 的安全回归追溯到 Dolci 数据集中的具体偏好样本，并测试在不损失能力提升的前提下修正回归。
Dwarkesh Patel：Podcast & BlogAI 评分5656 Dwarkesh 研究发现 2019-2025 预训练进步主要来自数据改进
Dwarkesh Patel 通过训练 2019 到 2025 各年代表性模型配方与数据语料的组合（最高 1e19 FLOPs），发现数据改进带来的计算效率增益为 12.0x，模型改进为 3.7x，数据贡献约 3.24 倍于模型，且两者增益基本相互独立，线性模型可解释 88% 的 OLMES 分数方差。
Timothy B. Lee：Understanding AIAI 评分4545 Google 如何让 LLM 控制机器人并掀起机器人浪潮
Google 在 2023 年 7 月发布 RT-2，通过训练多模态 LLM 直接生成机器人动作，开启机器人的“GPT-3 时刻”。RT-2 参数规模达数十亿，远超此前 35M 参数的 RT-1，展现出对物体、场景和指令的泛化能力，Google 将其命名为视觉-语言-动作（VLA）模型，该方法和术语迅速成为行业标准。
Ai2 / Allen Institute for AIAI 评分5151 Georgia Tech 团队用开放 Olmo 3 生态溯源模型的社交推理能力
Georgia Tech 博士生 Glenn Matlin 与 Chandreyi Chakraborty 用 Ai2 完全开放的 Olmo 3 生态，通过影响函数追踪模型社交推理能力的训练数据来源。
Amazon ScienceAI 评分4040 ControlG：工业控制器如何协调多任务机器学习
Amazon 在 ICML 发表的论文提出 ControlG 框架，借鉴工业 PID 控制器，在图自监督学习中逐次将计算预算分配给单个训练目标，而非每步混合所有梯度。
Together AI 研究与产品博客AI 评分5757 Together AI 发布开源调度层 ThunderAgent，智能体推理吞吐最高提升 2.5 倍
Together AI 推出开源智能体推理调度层 ThunderAgent，将每个智能体工作流抽象为可调度的 program，通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
Berkeley AI ResearchAI 评分4141 BAIR 提出 ABBEL：教 LLM 更新信念状态以实现高效长程交互
Berkeley AI Research 提出训练框架 ABBEL，将摘要形式化为自然语言信念状态并对其进行信念评分，解决递归摘要（context compaction）在长程交互中的性能损失问题。
Zyphra Research精选AI 评分6060 Zyphra 研究 GPT 类 Transformer 持续学习中的可塑性丧失并提出缩放律
Zyphra Research 发表研究，发现 5M 到 314M 非嵌入参数的 GPT 式 Transformer 在多语言持续学习问题中会出现可塑性丧失，即在继续训练后失去学习新数据的能力。
推荐理由：Zyphra 用多语言持续学习实验证明 GPT 类 Transformer 会丧失可塑性，并给出缩放律，说明靠扩大参数量应对收益递减。
OpenAI：Alignment 研究博客精选AI 评分6969 OpenAI 研究：有益特质 RL 训练可带来跨域且持久的对齐泛化
OpenAI 发表研究，发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质，能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立，仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测；模型在对抗提示和有害微调下更难被引向有害行为，同时保持正常可引导性。
推荐理由：OpenAI 自家研究给出有益特质 RL 的跨域泛化与抗对抗数据，读者可了解对齐训练的一条可验证路径。
Zyphra ResearchAI 评分4848 Zyphra 提出 Norm-Agnostic 残差网络（NAG）：让深度成为可扩展的计算轴
Zyphra 介绍 Norm-Agnostic 残差网络（NAG），将 residual stream 拆分为方向与范数两条通路，各层只对归一化方向做受控正交旋转，范数单独传递，避免深层更新被不断增大的 residual stream 稀释。
Zyphra ResearchAI 评分4444 Zyphra Research 将 Equilibrium Propagation 扩展到能量模型之外的 skew-gradient 系统
Zyphra Research 展示如何把 Equilibrium Propagation（EqProp）这一原本局限于 Energy-Based Models 的局部学习算法扩展到更广泛的 skew-gradient 系统，包括 FitzHugh-Nagumo 这类生物真实神经元模型。
Zyphra ResearchAI 评分4444 Zyphra 提出 TSP：折叠 Tensor 与 Sequence Parallelism 实现内存高效的 Transformer 训练
Zyphra 发布 Tensor and Sequence Parallelism（TSP），一种将 TP 与 SP 折叠到同一设备维度的并行切分策略，用于训练和推理长上下文 Transformer 模型。
OpenAI：Alignment 研究博客精选AI 评分6262 OpenAI 开源 CoT 监控评测套件的数据集与参考代码
OpenAI 开源其链式思维（CoT）监控性评测套件中的大部分数据集和参考代码，GitHub 仓库为 github.com/openai/monitorabil…，包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测，以及监控性指标 g-mean 2 的计算代码。
推荐理由：原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法，读者可以据此在社区复现或扩展 CoT 监控评测。
METR：BlogAI 评分6363 METR 分析 NanoGPT speedrun 记录评估 AI 智能体对 AI 研发的加速
METR 发布对 NanoGPT speedrun 的分析，从 2024 年 5 月到 2026 年 3 月，36 位贡献者提交 77 条记录，将 8×H100 训练时间从 45 分钟压到 1.43 分钟，共 31x 加速。
OpenAI：Alignment 研究博客AI 评分5050 OpenAI 实验：对齐中训练难以泛化到真实 chat 与 agent 评测
OpenAI 在类似 o4-mini 规模的模型上测试 Tice et al. 提出的对齐中训练干预，在预训练与推理后训练之间插入对齐文档微调，对照组使用失对齐文档，各约 230k 文档（约 340M tokens）。
Zyphra ResearchAI 评分4343 Zyphra 提出 HAM：用 RNN 与 KV cache 互补的混合关联记忆架构
Zyphra 介绍其混合关联记忆（HAM）架构，让 RNN 负责压缩总结序列内容，KV cache 仅存储 RNN 难以预测的 token，从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值，并测试了端到端可学习路由和指数深度平均（EDA）路由。在 800M 规模的对比实验中，HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。
Cognition 模型 / Devin 博客AI 评分5353 Cognition 与斯坦福发布 Kevin-32B：用多轮 RL 训练 CUDA 内核生成模型
Cognition AI 与斯坦福团队发布 Kevin-32B，基于 QwQ-32B 用多轮强化学习训练 CUDA 内核生成，在 KernelBench 前两级任务上 8 轮细化后平均正确率 65%，解决 89% 的数据集，超过 o4-mini 的 53% 和 o3 的 51%，best@16 加速比 1.41x。