跳到正文
NVIDIA Technical Blog:Agentic AI / Generative AI· Ekin Karabulut·· 2 天前AI 评分41

Agent Substrate:面向大规模 Agent 场景增强 Kubernetes

Agent Substrate: Advancing Kubernetes for Agents at Scale

AI 导读

AI Agent 大部分时间处于空闲,等待人类提示词、工具结果或模型响应,而 Kubernetes 并非为此设计。每个会话独占一个 Pod 会为空闲会话占用内存,在轮次之间删除 Pod 则每次付出数秒冷启动代价并丢失 Agent 状态;RL 后训练也面临同样的瓶颈。NVIDIA 介绍 Agent Substrate,并将其捐赠给相关社区以支撑大规模 Agent 运行。

来源:NVIDIA Technical Blog:Agentic AI / Generative AI · developer.nvidia.com