vLLM 官方博客发布训练-推理一致性方案：训练前向直接调用 vLLM 推理内核并改造为逐位一致，在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0，rollout 吞吐达高性能基线的 91.3%，而基线 KL 从 2e-3 升至 29.9 且奖励回落。
推荐理由：原文给出训练与推理逐位一致的完整方案和开源技能，读者可据此在新模型上复现真正的 on-policy RL。
Apple 机器学习研究团队发布首个从零预训练的三模态 Masked Diffusion Models（MDM）论文，涵盖文本、图文与音频文本数据。
MIT McGovern 研究所与 ICoN 中心团队 10 月 9 日在 PNAS 发表论文，提出判断人工神经网络学习方式是否具备生物学合理性的关键指标是其能否在无开发者干预下自组织。他们构建了一个以随机连接起步、遵循“一起放电的神经元连在一起”等简单规则的网络，能通过自组装 motif 实现类似梯度下降的调整，识别图像和分类任务的表现与反向传播网络相当。
Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers"，提出复用预训练 Transformer 权重初始化混合架构的 priming 方法，将预训练成本降低超过 99%，整个流程消耗不到源模型预训练 token 预算的 0.5%。
Redwood Research 发布论文，实验检验两种蒸馏方法。
Nathan Lambert 撰文认为，AI 研究者看到的是模型在基础设施和工程能力上的大幅加速，数年内模型会成为超人类 GPU 工程师，但这不会让模型本质发生巨变。他预测推理时计算扩容将使模型智能的有效成本近指数级下降，预训练架构与数据选择研究可能在 2-3 年内自动化，并触发 Jevons 悖论推高 Agent 需求；但技术扩散主要惠及数学和编码等领域，而非全面通向超级智能。
Zyphra 利用 MoE 路由中的相关性结构，提出相关专家共置（correlated expert placement）与 token shuffling 两种方法，在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。
Ai2 宣布其字节级语言模型 Bolmo 的研究发表于 Nature，并在 Hugging Face 上发布新检查点。文中介绍了 byteifying 方法，可将已训练好的子词模型以较短的额外训练转换为字节级模型，此前已基于 Olmo 模型做出 Bolmo 1B 和 7B。
Zyphra Research 研究发现，混合架构语言模型中滑动窗口注意力（SWA）和门控线性注意力等局部层会在残差流中自然产生 recency bias，使邻近 token 的表示更相似。全局 NoPE 注意力层的 query 和 key 投影会学会读取这种偏差，形成隐式相对位置编码。这解释了局部混合层与全局 NoPE 注意力交替的架构为何有效，并提示这类位置表示可自然外推到超出训练序列长度。
Ai2 发布开源训练框架 Olmo-core 3，重新设计 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数规模。
SemiAnalysis 长文解析 GLM-5.3 的稀疏注意力如何影响 HBM 与 NAND 内存需求，指出 top-k 选择仍需完整上下文驻留 HBM，稀疏注意力并不直接省显存。
SemiAnalysis 发布中国数据中心模型预览，基于对 60 余家运营商 1,000 多个设施的逐楼栋追踪，测算中国数据中心规模超过 24GW，大于 EMEA 和亚洲其他地区，另有约 20GW 在建管道和约 30GW 宣布项目。
Together AI 博客演示如何微调一个 Jev 风格的分类模型：以 Qwen3.5 4B 为基座，从 MultiNLI、BoolQ、Banking77 等 6 个数据源采样 37,840 条训练样本，成本约 $17.0，训练约 25 分钟完成。
Amazon Bio Discovery 团队发表三篇论文，研究抗体药物设计的三个关键问题。
SemiAnalysis 发布长文，分析 DeepSeek-V4.1 Flash 的 Engram 多 token 嵌入查找机制，并给出模型与 DRAM/SSD 卸载协同设计的实测结果。
Google 更新 AI & Economy ATLAS，上线交互式开放数据体验，并联合 Google DeepMind 与 MIT FutureTech 发布科学家使用 AI 的新研究。
Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 三位研究者讨论递归自我改进（RSI）距离现状还有多远。
Together AI 宣布扩展 Together Fine-Tuning 平台，新增 GLM 5.3、DeepSeek-V4-Flash、Kimi K2.7、Qwen 3.8-27B、Gemma 4 等 17 个开源模型支持，部分模型训练降价 30% 至 70%，gpt-oss 系列达到 70%。
Goodfire 基于 Ai2 完全开放的后训练栈，展示了如何在偏好训练前预测行为变化、把 Olmo 3 的安全回归追溯到 Dolci 数据集中的具体偏好样本，并测试在不损失能力提升的前提下修正回归。
Dwarkesh Patel 通过训练 2019 到 2025 各年代表性模型配方与数据语料的组合（最高 1e19 FLOPs），发现数据改进带来的计算效率增益为 12.0x，模型改进为 3.7x，数据贡献约 3.24 倍于模型，且两者增益基本相互独立，线性模型可解释 88% 的 OLMES 分数方差。
Fireworks AI 发布系列文章首篇，讲解团队何时以及如何训练自己的模型。文章梳理了从封闭前沿模型加提示词、上下文与 harness 工程，到换用更便宜的开源模型，再到微调的升级路径，并归纳任务特化、风格、蒸馏、Agent 强化学习和持续训练五种训练模式。
Charlie O’Neill 撰文指出，许多人宣称未来属于 RL 环境或 RL 是新的 scaling law，却少有人按此信念理性行动，如同信 scaling 却不买 NVIDIA call、信 AGI 却不买地。
Google 在 2023 年 7 月发布 RT-2，通过训练多模态 LLM 直接生成机器人动作，开启机器人的“GPT-3 时刻”。RT-2 参数规模达数十亿，远超此前 35M 参数的 RT-1，展现出对物体、场景和指令的泛化能力，Google 将其命名为视觉-语言-动作（VLA）模型，该方法和术语迅速成为行业标准。
Charlie O'Neill 撰文讨论持续学习，认为当前 AI 智能体像失忆的实习生，只能靠上下文里的笔记而非自身进步。他指出 LLM 只有两种原生记忆，KV cache 无损但昂贵，Llama 3.1 70B 在约 431,000 token 时缓存超过 141 GB 的权重，权重稳定但难以安全更新。
Fireworks AI 宣布 Training API 和 Fireworks Lab 正式可用，用户可用 Python 自定义训练循环，由 Fireworks 托管分布式训练与 rollout 基础设施。
Georgia Tech 博士生 Glenn Matlin 与 Chandreyi Chakraborty 用 Ai2 完全开放的 Olmo 3 生态，通过影响函数追踪模型社交推理能力的训练数据来源。
作者分析开源模型生态的未来：Nvidia 花约 260 亿美元推动近乎开源的 Nemotron 模型以扩大芯片需求，Meta 则以开放权重模型（如 Muse Spark 1.2）冲击 Anthropic 和 OpenAI 的 token 销售收入。
AWS 推出 Trainium Frontier 竞赛，邀请学术与产业团队在 AWS Trainium 上从头训练语言模型，探索模型架构与自定义内核的协同设计。
Nathan Lambert 宣布其由 Manning 出版的后训练教材《Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs》现已从 Manning 和 Amazon US 发货，Amazon UK 版将于十月发售。
Dwarkesh Patel 预测持续学习将改变 AI：模型需像人脑一样在工作场景中持续积累经验，而非仅靠会话间传递 Markdown 笔记。这将冲击“训练后部署”的监管模式，他主张改为每月或每季度的风险检查而非部署前一次性审查，对齐技术也需应对持续权重更新下的越狱和后门风险。
Amazon 在 ICML 发表的论文提出 ControlG 框架，借鉴工业 PID 控制器，在图自监督学习中逐次将计算预算分配给单个训练目标，而非每步混合所有梯度。
Together AI 推出开源智能体推理调度层 ThunderAgent，将每个智能体工作流抽象为可调度的 program，通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
Berkeley AI Research 提出训练框架 ABBEL，将摘要形式化为自然语言信念状态并对其进行信念评分，解决递归摘要（context compaction）在长程交互中的性能损失问题。
Factory 发布 Droid Shield 2.0，在确定性扫描器两侧各部署一个微调模型：risk 模型在扫描器未命中时对疑似密钥行做召回优先告警，downgrade 模型在扫描器命中后基于脱敏上下文判断是否误报。
Dwarkesh Patel 撰文认为下一个范式突破是让 AI 在部署后持续学习并写回权重，而非仅靠 RLVR 训练。
Zyphra Research 发表研究，发现 5M 到 314M 非嵌入参数的 GPT 式 Transformer 在多语言持续学习问题中会出现可塑性丧失，即在继续训练后失去学习新数据的能力。
推荐理由：Zyphra 用多语言持续学习实验证明 GPT 类 Transformer 会丧失可塑性，并给出缩放律，说明靠扩大参数量应对收益递减。
OpenAI 发表研究，发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质，能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立，仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测；模型在对抗提示和有害微调下更难被引向有害行为，同时保持正常可引导性。
推荐理由：OpenAI 自家研究给出有益特质 RL 的跨域泛化与抗对抗数据，读者可了解对齐训练的一条可验证路径。
Zyphra 介绍 Norm-Agnostic 残差网络（NAG），将 residual stream 拆分为方向与范数两条通路，各层只对归一化方向做受控正交旋转，范数单独传递，避免深层更新被不断增大的 residual stream 稀释。
Zyphra Research 展示如何把 Equilibrium Propagation（EqProp）这一原本局限于 Energy-Based Models 的局部学习算法扩展到更广泛的 skew-gradient 系统，包括 FitzHugh-Nagumo 这类生物真实神经元模型。
Zyphra 发布 ZAYA1-74B-Preview，这是一个总参数 74B、激活 4B 的 MoE 预 RL 推理基座，未做 RL 后训练或指令微调，权重以 Apache 2.0 许可在 Hugging Face 开放。
推荐理由：官方发布给出了架构、训练数据规模和 pass@4 对比细节，读者可以据此评估这个预 RL 基座在 AMD 上扩展预训练的实际水准。