vLLM 官方博客· Inferact and the vLLM Team·· 21 天前AI 评分49
vLLM 大规模服务 DeepSeek-V4.1-Flash：性能追平 DeepInfer，并扩展至 GB300 NVL72
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
AI 导读
vLLM 团队演示在单台 NVIDIA GB300 NVL72 机架上，通过 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash，运行 SemiAnalysis AgentX 达到每 GPU 954K tokens/s（P90 每用户 196 tokens/s），较此前单节点结果提升 7.9 倍，价格为 $38.96 per GPU-hour。
来源：vLLM 官方博客 · vllm.ai