技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
10 条精选近 30 天 5 条共收录 111 条
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文，指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配，先对齐核再用无截断的 token 级重要性采样即可稳定训练，无需拒绝门。
推荐理由：论文拆解异步 RL 的两类差距，并给出核对齐加未截断重要性采样的完整配方与开源代码，读者可复现到自家训练流程。
Google Research 在 Nature 发表 AI-PPG-ACC-HTN 系统，用消费级智能手表的 PPG 和加速度传感器被动检测高血压迹象，无需袖带校准。
推荐理由：原文给出无需袖带校准的智能手表高血压筛查系统及与临床金标准对比的具体数据，读者可据此评估其筛查定位。
METR 于 2026 年 8 月 12 日至 10 月 29 日对 Anthropic 开展高权限独立评估，结论是 Anthropic 模型能力进展速度约为 2024 年 3 月至 2025 年 10 月历史速率的 2 倍，AECI 基准估计加速 1.9 倍（95% 置信区间 1.5–2.8 倍），相当于一年完成了过去约两年的进展。
推荐理由：METR 独立评估 Anthropic 内部数据后给出约 2 倍研发加速的量化估计，并公开了哪些关键证据因保密被删节，读者可据此判断证据局限。
Anthropic 基于隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日的 207,049 个 Claude 与 Claude Code 科研会话，并辅以 528 名科学家调查。
推荐理由：Anthropic 用隐私保护方法分析 20.7 万科研会话，给出 AI 在各学科的用量分布和加速情景，读者可据此判断 AI 科研的真实使用格局。
vLLM 官方博客发布训练-推理一致性方案：训练前向直接调用 vLLM 推理内核并改造为逐位一致，在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0，rollout 吞吐达高性能基线的 91.3%，而基线 KL 从 2e-3 升至 29.9 且奖励回落。
推荐理由：原文给出训练与推理逐位一致的完整方案和开源技能，读者可据此在新模型上复现真正的 on-policy RL。
Zyphra Research 发表研究，发现 5M 到 314M 非嵌入参数的 GPT 式 Transformer 在多语言持续学习问题中会出现可塑性丧失，即在继续训练后失去学习新数据的能力。
推荐理由：Zyphra 用多语言持续学习实验证明 GPT 类 Transformer 会丧失可塑性，并给出缩放律，说明靠扩大参数量应对收益递减。
OpenAI 发表研究，发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质，能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立，仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测；模型在对抗提示和有害微调下更难被引向有害行为，同时保持正常可引导性。
推荐理由：OpenAI 自家研究给出有益特质 RL 的跨域泛化与抗对抗数据，读者可了解对齐训练的一条可验证路径。
Zyphra 发布 ZAYA1-74B-Preview，这是一个总参数 74B、激活 4B 的 MoE 预 RL 推理基座，未做 RL 后训练或指令微调，权重以 Apache 2.0 许可在 Hugging Face 开放。
推荐理由：官方发布给出了架构、训练数据规模和 pass@4 对比细节，读者可以据此评估这个预 RL 基座在 AMD 上扩展预训练的实际水准。
Zyphra 发布 ZAYA1-8B，首个在 AMD Instinct MI300 集群上完成预训练、中期训练和微调的 MoE 模型，活跃参数不足 10 亿，在数学、编码和推理基准上可匹敌或超过大得多的开源模型，如 Mistral-Small-4-119B。
推荐理由：官方详解了架构、AMD 训练栈和 Markovian RSA 推理方法，读者可据此评估小参数 MoE 模型的实际推理能力。
OpenAI 开源其链式思维（CoT）监控性评测套件中的大部分数据集和参考代码，GitHub 仓库为 github.com/openai/monitorabil…，包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测，以及监控性指标 g-mean 2 的计算代码。
推荐理由：原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法，读者可以据此在社区复现或扩展 CoT 监控评测。