REINFORCE Zero 论文提出核对齐实现稳定异步 RL,覆盖 DeepSeek-V4.1 与 Kimi K3.1
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配,先对齐核再用无截断的 token 级重要性采样即可稳定训练,无需拒绝门。
推荐理由:论文拆解异步 RL 的两类差距,并给出核对齐加未截断重要性采样的完整配方与开源代码,读者可复现到自家训练流程。