vLLM 官方博客· Itay Alroy (NVIDIA)·· 25 天前AI 评分51
vLLM Elastic EP 通过 NIXL EP 实现近零停机扩缩容，DeepSeek V4 Pro 停机降至 0.82 秒
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 详解如何用异步准备与 NIXL EP 让 Elastic Expert Parallelism 重配置实现近零停机，DeepSeek V4 Pro 从 16 到 20 GB200 GPU 的停机时间从 100 秒降至 0.82 秒，缩回 16 GPU 为 1.96 秒。
来源：vLLM 官方博客 · vllm.ai