vLLM 官方博客· Inferact and Google Teams·· 24 天前AI 评分62
vLLM 发布 TorchTPU 后端，可在 Google Cloud TPU 上运行现有 vLLM 模型
Introducing vLLM TorchTPU
AI 导读
Inferact 与 Google 团队发布 vLLM TorchTPU（vllm-torchtpu），一个基于 Google TorchTPU 栈的 vLLM 后端插件，复用 vLLM 现有模型代码，多数现有模型无需改动即可在 TPU 上服务，CLI、OpenAI 兼容服务器、调度器和 KV cache 管理器均保持不变。
来源：vLLM 官方博客 · vllm.ai