vLLM 官方博客· Ranran Haoran Zhang, Lik Xun Yuan, Chao Ju Chen, Eric Curtin, Michael Goin·精选AI 评分76
vllm-metal v0.28.0 发布：在 Apple Silicon 上支持并发推理服务
Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI 导读
vLLM 官方发布 vllm-metal 首个正式版 v0.28.0，将 vLLM 的调度器、分页 KV cache 和 OpenAI 兼容服务引入 Apple Silicon，由 MLX 和 Metal 负责执行。
推荐理由
原文给出架构细节、与 llama.cpp 和 oMLX 的并发基准数据，以及 Homebrew 安装入口，读者可以据此评估 Apple Silicon 上的服务化方案。
来源：vLLM 官方博客 · vllm.ai