苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率
Apple 与哈佛大学研究者的论文提出加权状态汤（weighted state souping）方法，通过学习依赖查询的权重来组合缓存的 SSM 状态编码，被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能，稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。
#数据/训练
Apple Machine Learning ResearchAI 评分4141 Apple Machine Learning ResearchAI 评分4545 门控机制的重要性：SSM 中的记忆与上下文学习之争
Apple 与哈佛大学的研究人员通过理论与实验分析，门控机制导致 SSM 在训练中先学到“权重内记忆”方案，从而延迟甚至阻止其收敛到正确的上下文学习解，即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称，但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力，为理解和改进线性时间模型提供了基础。
Databricks：BlogAI 评分4444 Databricks 基准测试：Genie 借 Genie Ontology 实现 1.6 倍准确率、token 用量减半
Databricks 与 Turing 联合开发了一个企业数据智能体基准，在真实 Databricks 工作区中对比 Genie 与两个前沿智能体，以虚构英国能源公司 Calderwick Energy 的数据资产为题。
Hugging Face BlogAI 评分5959 Tether AI Research 发布 0.8B 端侧智能体模型 BotPsy
Tether AI Research 发布基于 Qwen3.5-0.8B 的 0.8B 参数端侧智能体模型 BotPsy，专注函数调用和个人助理任务，称其在六个工具使用与智能体基准上优于所有受测的 1.2B 及以下模型，BFCL v4 从基座的 23.4 升至 44.0，并在五项基准上超过 2.5 倍大小的 Qwen3.5-2B-Think。
Meta Engineering BlogAI 评分5656 Meta 详解 TLX：面向生产级 ML 的硬件原生 GPU 编译器扩展
Meta 工程博客详解其构建的 Triton 低层扩展 TLX，通过显式 warp 组编排补足 CUDA 细粒度控制与 Triton 块级编程模型之间的抽象缺口。
Hugging Face BlogAI 评分4848 Elith 与 NVIDIA 发布合成数据集 Nemotron-Personas-Finance-Japan，捕捉日本人口与金融背景
Elith 与 NVIDIA 发布开源金融 persona 数据集 Nemotron-Personas-Finance-Japan，是 Nemotron-Personas-Japan 的金融领域扩展。
Google Developers BlogAI 评分5454 MaxText v0.2.4 发布 TPU 长上下文训练支持，上下文并行最高可扩展至 14M tokens
Google Cloud 宣布开源 JAX 训练框架 MaxText v0.2.4 支持长上下文训练，通过上下文并行提供 All-gather、A2A（DeepSpeed Ulysses）、P2P（Ring Attention）和 A2A+P2P 混合（USP）四种策略，均基于 Tokamax Splash Attention 内核。
vLLM 官方博客精选AI 评分6868 REINFORCE Zero 论文提出核对齐实现稳定异步 RL，覆盖 DeepSeek-V4.1 与 Kimi K3.1
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文，指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配，先对齐核再用无截断的 token 级重要性采样即可稳定训练，无需拒绝门。
推荐理由：论文拆解异步 RL 的两类差距，并给出核对齐加未截断重要性采样的完整配方与开源代码，读者可复现到自家训练流程。
Google Research精选AI 评分7070 Google Research 发布 AI-PPG-ACC-HTN 系统，用智能手表无袖带检测高血压迹象
Google Research 在 Nature 发表 AI-PPG-ACC-HTN 系统，用消费级智能手表的 PPG 和加速度传感器被动检测高血压迹象，无需袖带校准。
推荐理由：原文给出无需袖带校准的智能手表高血压筛查系统及与临床金标准对比的具体数据，读者可据此评估其筛查定位。
Anthropic：Research精选AI 评分7070 Anthropic 分析 20.7 万 Claude 科研会话：用量追踪 AI 能力，广泛采用可让部分领域产出翻倍
Anthropic 基于隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日的 207,049 个 Claude 与 Claude Code 科研会话，并辅以 528 名科学家调查。
推荐理由：Anthropic 用隐私保护方法分析 20.7 万科研会话，给出 AI 在各学科的用量分布和加速情景，读者可据此判断 AI 科研的真实使用格局。
Figma AI / Agent / MakeAI 评分5151 Figma 讲解如何训练专属设计编辑模型
Figma 撰文讲解其 agent 内自研编辑模型的训练方法：先用 SFT 在 Figma 原生文件格式上用超过 25 万条合成样本训练，早期基于 Llama 3.3 70B 即可在编辑任务上与当时顶尖模型竞争，后转向 Qwen 3.8 27B 等更强基座并结合 RL。
Meta Engineering BlogAI 评分5757 Meta 发布 Catching JiTTests 生产部署成果，上半年在 diff 阶段拦下 74 个隐私严重 bug
Meta 官方博客介绍其 Catching JiTTests 测试方案已从研究原型进入生产基础设施，相关论文 Just-in-Time Catching Test Generation at Meta 发表于 FSE 2026。
Google ResearchAI 评分5353 Google Research 提出 sleep 框架让 LLM 在持续学习中保留知识
Google Research 提出面向 LLM 持续学习的 sleep 框架，让模型在活跃交互与离线记忆巩固之间交替，将易失的短期上下文固化为长期参数。
PyTorch：BlogAI 评分5757 TorchTitan 更新：新增 SOTA 模型支持、TitanRL 强化学习与大规模性能提升
PyTorch 团队发布 TorchTitan 年度更新，新增 Muse Spark Open、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3、DeepSeek-V4 等模型的全训练栈支持，并推出 RL 框架 TitanRL，训练与推理共用同一代码库。
Preferred Networks：AI 研究与产品AI 评分4040 PFN 与 Tenstorrent 联合方案入选 NEDO 光电融合 xPU 设计开发项目
Preferred Networks（PFN）与 Tenstorrent 宣布，其联合提案获日本 NEDO 选定，参与“融合光电子集成技术的 xPU 设计与开发”主题项目。
Fireworks AIAI 评分4141 Fireworks AI 开放 Muse Glimmer 30B 免费微调，分享跑赢 Jev 的事件预测训练配方
Fireworks AI 宣布 11 月 30 日前免费开放 Muse Glimmer 30B 的 SFT 训练，并公布用其训练 tuned Glimmer 预测 Kalshi 已结算市场结果的配方。
Together AI 研究与产品博客AI 评分5757 Together AI 发布 Together Post-Training 自定义模型后训练服务
Together AI 推出 Together Post-Training 服务，支持通过 SFT 和 RL 在其平台上构建自定义模型，训练循环完全由用户定义。
vLLM 官方博客精选AI 评分6060 vLLM 发布训练-推理逐位一致方案，DeepSeek-V4-Flash RL 训练 diff 降为 0
vLLM 官方博客发布训练-推理一致性方案：训练前向直接调用 vLLM 推理内核并改造为逐位一致，在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0，rollout 吞吐达高性能基线的 91.3%，而基线 KL 从 2e-3 升至 29.9 且奖励回落。
推荐理由：原文给出训练与推理逐位一致的完整方案和开源技能，读者可据此在新模型上复现真正的 on-policy RL。
Apple Machine Learning ResearchAI 评分5151 Apple 发布三模态掩码扩散模型设计空间的系统研究
Apple 机器学习研究团队发布首个从零预训练的三模态 Masked Diffusion Models（MDM）论文，涵盖文本、图文与音频文本数据。
Zyphra ResearchAI 评分4949 Zyphra 提出 MoE 预训练中的 Expert Coupling：降低 all-to-all 通信开销
Zyphra 利用 MoE 路由中的相关性结构，提出相关专家共置（correlated expert placement）与 token shuffling 两种方法，在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。
Zyphra ResearchAI 评分4545 Zyphra Research 解析混合 NoPE 模型如何在无位置编码下学到位置信息
Zyphra Research 研究发现，混合架构语言模型中滑动窗口注意力（SWA）和门控线性注意力等局部层会在残差流中自然产生 recency bias，使邻近 token 的表示更相似。全局 NoPE 注意力层的 query 和 key 投影会学会读取这种偏差，形成隐式相对位置编码。这解释了局部混合层与全局 NoPE 注意力交替的架构为何有效，并提示这类位置表示可自然外推到超出训练序列长度。
Together AI 研究与产品博客AI 评分4848 如何花 $17 训练你自己的 Jev 分类模型
Together AI 博客演示如何微调一个 Jev 风格的分类模型：以 Qwen3.5 4B 为基座，从 MultiNLI、BoolQ、Banking77 等 6 个数据源采样 37,840 条训练样本，成本约 $17.0，训练约 25 分钟完成。
Google Blog：AIAI 评分5353 Google AI & Economy ATLAS 发布新数据可视化及科学家使用 AI 研究
Google 更新 AI & Economy ATLAS，上线交互式开放数据体验，并联合 Google DeepMind 与 MIT FutureTech 发布科学家使用 AI 的新研究。
Together AI 研究与产品博客AI 评分5757 Together AI 扩展 Together Fine-Tuning：新增 17 个开源模型、实时指标与更细训练控制
Together AI 宣布扩展 Together Fine-Tuning 平台，新增 GLM 5.3、DeepSeek-V4-Flash、Kimi K2.7、Qwen 3.8-27B、Gemma 4 等 17 个开源模型支持，部分模型训练降价 30% 至 70%，gpt-oss 系列达到 70%。
Fireworks AIAI 评分5353 Fireworks AI 讲解如何从租用模型走向训练自己的专属智能
Fireworks AI 发布系列文章首篇，讲解团队何时以及如何训练自己的模型。文章梳理了从封闭前沿模型加提示词、上下文与 harness 工程，到换用更便宜的开源模型，再到微调的升级路径，并归纳任务特化、风格、蒸馏、Agent 强化学习和持续训练五种训练模式。
Fireworks AIAI 评分5454 Fireworks AI 正式发布 Training API 与 Fireworks Lab
Fireworks AI 宣布 Training API 和 Fireworks Lab 正式可用，用户可用 Python 自定义训练循环，由 Fireworks 托管分布式训练与 rollout 基础设施。
Together AI 研究与产品博客AI 评分5757 Together AI 发布开源调度层 ThunderAgent，智能体推理吞吐最高提升 2.5 倍
Together AI 推出开源智能体推理调度层 ThunderAgent，将每个智能体工作流抽象为可调度的 program，通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
Berkeley AI ResearchAI 评分4141 BAIR 提出 ABBEL：教 LLM 更新信念状态以实现高效长程交互
Berkeley AI Research 提出训练框架 ABBEL，将摘要形式化为自然语言信念状态并对其进行信念评分，解决递归摘要（context compaction）在长程交互中的性能损失问题。
Zyphra Research精选AI 评分6060 Zyphra 研究 GPT 类 Transformer 持续学习中的可塑性丧失并提出缩放律
Zyphra Research 发表研究，发现 5M 到 314M 非嵌入参数的 GPT 式 Transformer 在多语言持续学习问题中会出现可塑性丧失，即在继续训练后失去学习新数据的能力。
推荐理由：Zyphra 用多语言持续学习实验证明 GPT 类 Transformer 会丧失可塑性，并给出缩放律，说明靠扩大参数量应对收益递减。
OpenAI：Alignment 研究博客精选AI 评分6969 OpenAI 研究：有益特质 RL 训练可带来跨域且持久的对齐泛化
OpenAI 发表研究，发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质，能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立，仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测；模型在对抗提示和有害微调下更难被引向有害行为，同时保持正常可引导性。
推荐理由：OpenAI 自家研究给出有益特质 RL 的跨域泛化与抗对抗数据，读者可了解对齐训练的一条可验证路径。
Zyphra ResearchAI 评分4848 Zyphra 提出 Norm-Agnostic 残差网络（NAG）：让深度成为可扩展的计算轴
Zyphra 介绍 Norm-Agnostic 残差网络（NAG），将 residual stream 拆分为方向与范数两条通路，各层只对归一化方向做受控正交旋转，范数单独传递，避免深层更新被不断增大的 residual stream 稀释。
Zyphra ResearchAI 评分4444 Zyphra Research 将 Equilibrium Propagation 扩展到能量模型之外的 skew-gradient 系统
Zyphra Research 展示如何把 Equilibrium Propagation（EqProp）这一原本局限于 Energy-Based Models 的局部学习算法扩展到更广泛的 skew-gradient 系统，包括 FitzHugh-Nagumo 这类生物真实神经元模型。
Zyphra Research精选AI 评分6060 Zyphra 发布 ZAYA1-74B-Preview，在 AMD 上完成大规模预训练
Zyphra 发布 ZAYA1-74B-Preview，这是一个总参数 74B、激活 4B 的 MoE 预 RL 推理基座，未做 RL 后训练或指令微调，权重以 Apache 2.0 许可在 Hugging Face 开放。
推荐理由：官方发布给出了架构、训练数据规模和 pass@4 对比细节，读者可以据此评估这个预 RL 基座在 AMD 上扩展预训练的实际水准。
Zyphra Research精选AI 评分6464 Zyphra 发布 AMD 训练的 MoE 模型 ZAYA1-8B
Zyphra 发布 ZAYA1-8B，首个在 AMD Instinct MI300 集群上完成预训练、中期训练和微调的 MoE 模型，活跃参数不足 10 亿，在数学、编码和推理基准上可匹敌或超过大得多的开源模型，如 Mistral-Small-4-119B。
推荐理由：官方详解了架构、AMD 训练栈和 Markovian RSA 推理方法，读者可据此评估小参数 MoE 模型的实际推理能力。
Zyphra ResearchAI 评分4444 Zyphra 提出 TSP：折叠 Tensor 与 Sequence Parallelism 实现内存高效的 Transformer 训练
Zyphra 发布 Tensor and Sequence Parallelism（TSP），一种将 TP 与 SP 折叠到同一设备维度的并行切分策略，用于训练和推理长上下文 Transformer 模型。
OpenAI：Alignment 研究博客精选AI 评分6262 OpenAI 开源 CoT 监控评测套件的数据集与参考代码
OpenAI 开源其链式思维（CoT）监控性评测套件中的大部分数据集和参考代码，GitHub 仓库为 github.com/openai/monitorabil…，包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测，以及监控性指标 g-mean 2 的计算代码。
推荐理由：原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法，读者可以据此在社区复现或扩展 CoT 监控评测。
OpenAI：Alignment 研究博客AI 评分5050 OpenAI 实验：对齐中训练难以泛化到真实 chat 与 agent 评测
OpenAI 在类似 o4-mini 规模的模型上测试 Tice et al. 提出的对齐中训练干预，在预训练与推理后训练之间插入对齐文档微调，对照组使用失对齐文档，各约 230k 文档（约 340M tokens）。
Zyphra ResearchAI 评分4343 Zyphra 提出 HAM：用 RNN 与 KV cache 互补的混合关联记忆架构
Zyphra 介绍其混合关联记忆（HAM）架构，让 RNN 负责压缩总结序列内容，KV cache 仅存储 RNN 难以预测的 token，从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值，并测试了端到端可学习路由和指数深度平均（EDA）路由。在 800M 规模的对比实验中，HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。
Zyphra ResearchAI 评分5757 Zyphra 发布 ZAYA1 预览版：首个完全在 AMD 全栈上端到端预训练的模型
Zyphra 宣布 ZAYA1 预览版，称其为首个完全在 AMD 硬件、软件和网络栈上端到端训练的 AI 模型。
Cognition 模型 / Devin 博客AI 评分5353 Cognition 与斯坦福发布 Kevin-32B：用多轮 RL 训练 CUDA 内核生成模型
Cognition AI 与斯坦福团队发布 Kevin-32B，基于 QwQ-32B 用多轮强化学习训练 CUDA 内核生成，在 KernelBench 前两级任务上 8 轮细化后平均正确率 65%，解决 89% 的数据集，超过 o4-mini 的 53% 和 o3 的 51%，best@16 加速比 1.41x。