跳到正文
vLLM 官方博客· vLLM Team·· 29 天前精选AI 评分76

vLLM Day 0 支持 Meta 开源权重 MoE 模型 Muse Spark Open

Day 0 support for Muse Spark Open on vLLM

AI 导读

vLLM 与 Meta Superintelligence Labs 合作,为开源权重稀疏 MoE 模型 Muse Spark Open 提供 Day 0 支持。

推荐理由

原文给出 816B MoE 架构细节、量化格式、DSpark 投机解码与 LoRA RL 配置,读者可以直接照此部署和调优。

来源:vLLM 官方博客 · vllm.ai