公司与模型
月之暗面的 Kimi 产品更新、K 系列开源模型与长文本技术进展。
5 条精选近 30 天 3 条共收录 10 条
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文，指出 rollout 到 learner 的差距分为平滑变化的权重滞后和波动持续的核不匹配，先对齐核再用无截断的 token 级重要性采样即可稳定训练，无需拒绝门。
推荐理由：论文拆解异步 RL 的两类差距，并给出核对齐加未截断重要性采样的完整配方与开源代码，读者可复现到自家训练流程。
vLLM 官方博客宣布为月之暗面 2.8T 参数（104B 激活）的 Kimi K3.1 Pro 提供 day-0 支持，该开源 MoE 模型具备 1M token 上下文，并在 24 个全注意力层新增 Sparse Attention（DSA）。
推荐理由：原文给出 K3.1 Pro 的 DSA 稀疏注意力细节和多平台 day-0 性能数据，读者可以据此评估长上下文与智能体服务的部署收益。
vLLM 团队用 agent 辅助开发为 Kimi K3 构建了统一 CuTe DSL decode 路径，覆盖 attention、MoE 和跨 GPU 通信。
推荐理由：vLLM 官方详解 Kimi K3 的 CuTe DSL decode 优化与 fast-track 验证原则，给出了可复用的性能数字和协作流程设计。
Together AI 发布 Kimi K3 开发者指南，讲解如何在自家 API 上使用月之暗面 2.8 万亿参数的开源模型 K3，该模型支持 1M 上下文。
推荐理由：Together AI 直接服务该模型，指南给出推理档位、缓存和动态工具加载等实操要点，可帮助开发者控制 1M 上下文下的使用成本。
Together AI 宣布与 Moonshot AI 达成战略合作，成为其模型发布的首发平台，从 Kimi K3 开始并覆盖此后所有开放权重模型。
推荐理由：官方公告给出 Kimi K3 架构细节与托管入口，读者可以据此评估开放权重模型在生产环境的可用方式。