vLLM 官方博客· the Kinference Team·· 9 天前精选AI 评分60
Buoyant 开源 Kinference：面向 vLLM 与 Kubernetes 的推理控制平面
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 团队发布开源项目 Kinference，作为 vLLM 和 Kubernetes 之上的推理控制平面，提供 token 限流、租户用量与成本追踪、负载均衡和推理策略。
推荐理由
Buoyant 团队开源了自己打造的项目，读者可以结合其基准数据评估是否值得引入自建推理平台。
来源：vLLM 官方博客 · vllm.ai