Google Developers Blog·· 24 天前精选AI 评分69
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
AI 导读
Google 在 PyTorch 相关发布中推出面向 TPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎，分别与 Inferact、RadixArk 合作开发，基于让 TPU 成为原生 PyTorch 设备的 TorchTPU。
推荐理由
官方披露 TorchTPU 架构设计与公开基准结果，读者可以据此评估在 TPU 上用 PyTorch 生态做推理的可行路径。
来源：Google Developers Blog · developers.googleblog.com