跳到正文
vLLM 官方博客· AMD and Embedded LLM·· 28 天前AI 评分44

vLLM 在 AMD Instinct MI355X 上部署 Kimi K3:AgentX 基准下单 GPU 吞吐追平并超越 NVIDIA HGX B300

Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX

AI 导读

vLLM 团队详解在 AMD Instinct MI355X 上优化 Kimi K3 推理的工程实践。

来源:vLLM 官方博客 · vllm.ai