跳到正文
IBM Research:AI·· 23 天前AI 评分57

llm-d 1.0 在 PyTorch Conference 发布,面向生产环境推理服务

llm-d 1.0 hardens open-source AI inference for production

AI 导读

llm-d 项目贡献者在 PyTorch Conference North America 发布 llm-d 1.0,一个 Kubernetes 原生的分布式推理服务栈,可部署任意模型、任意加速器、任意云,由 Red Hat、IBM 和 Google 担任主导维护者。

来源:IBM Research:AI · research.ibm.com