vLLM 官方博客· Inferact and the vLLM Team·· 9 天前精选AI 评分74
vLLM 实现 Kimi K3.1 Pro 的 day-0 支持,覆盖多类硬件
vLLM Delivers Day-0 Support for Kimi K3.1 Pro
AI 导读
vLLM 官方博客宣布为月之暗面 2.8T 参数(104B 激活)的 Kimi K3.1 Pro 提供 day-0 支持,该开源 MoE 模型具备 1M token 上下文,并在 24 个全注意力层新增 Sparse Attention(DSA)。
推荐理由
原文给出 K3.1 Pro 的 DSA 稀疏注意力细节和多平台 day-0 性能数据,读者可以据此评估长上下文与智能体服务的部署收益。
来源:vLLM 官方博客 · vllm.ai