vLLM 官方博客· Moore Threads Team and vLLM-Omni Team·AI 评分42
MAGI-2 Preview 在 vLLM-Omni 上以 torchada 适配摩尔线程 MUSA:114B 音视频 MoE DiT 推理优化
MAGI-2 Preview on vLLM-Omni: Bringing a 114B Audio-Video MoE DiT to Moore Threads MUSA with torchada
AI 导读
vLLM-Omni 用 torchada 让 Sand AI 的 MAGI-2 Preview(114B 总参数、每 token 约 6B 激活的音视频 MoE DiT)在摩尔线程 MTT S5000 上原生运行,仅需少量平台级改动,CUDA 版 Triton kernel 可直接复用。
来源:vLLM 官方博客 · vllm.ai