vLLM 官方博客· Ao Shen (Inferact), Jian Hu (NVIDIA Research), Yan Bai (NVIDIA DevTech), Shekhar Pandey (AMD), and the REINFORCE Zero authors·· 7 天前精选AI 评分68
REINFORCE Zero 论文提出核对齐实现稳定异步 RL，覆盖 DeepSeek-V4.1 与 Kimi K3.1
Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1
AI 导读
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文，指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配，先对齐核再用无截断的 token 级重要性采样即可稳定训练，无需拒绝门。
推荐理由
论文拆解异步 RL 的两类差距，并给出核对齐加未截断重要性采样的完整配方与开源代码，读者可复现到自家训练流程。
来源：vLLM 官方博客 · vllm.ai