Together AI 研究与产品博客·AI 评分57
Together AI 发布开源调度层 ThunderAgent，智能体推理吞吐最高提升 2.5 倍
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
AI 导读
Together AI 推出开源智能体推理调度层 ThunderAgent，将每个智能体工作流抽象为可调度的 program，通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
来源：Together AI 研究与产品博客 · together.ai