vLLM 官方博客· Inferact and Recursive·· 23 天前精选AI 评分61
vLLM 提供 Recursive Flint 40B MoE 模型 day-0 支持
Day-0 Support for Flint on vLLM
AI 导读
vLLM 宣布从 day 0 起支持 Recursive 的 Flint 模型，NVFP4 和 BF16 两个 checkpoint 均可在单张 GPU 上运行，在一张 GB200 上 100K 上下文下单请求解码约 500 tokens/s。
推荐理由
官方给出 Flint 的架构细节、NVFP4 与 BF16 双 checkpoint 和 day-0 部署方式，读者可以直接照着在 vLLM 上跑起来。
来源：vLLM 官方博客 · vllm.ai