vLLM 官方博客· vLLM Team, Red Hat PyTorch Team, and Meta PyTorch Team·· 7 天前AI 评分59
vLLM 迁移到 LibTorch Stable ABI:CUDA 构建不再随 PyTorch 升级而重建
Migrating vLLM to the LibTorch Stable ABI
AI 导读
vLLM 团队讲解如何把 vLLM CUDA 构建迁移到 LibTorch Stable ABI,自 v0.33.0 起发布 ABI Stable CUDA wheels,使更换 torch wheel 无需重建 vLLM。
来源:vLLM 官方博客 · vllm.ai