跳到正文
Pydantic AI 官方文章· Michael Pfaffenberger·· 15 天前精选AI 评分72

Pydantic AI 基准测试:code mode 让 8 个模型长任务成本降 58%、耗时降 51%

Code mode: make your agents 2x faster and 2x cheaper on long tasks

AI 导读

Pydantic AI 作者在 5 个小应用、8 个模型上跑了 5276 次分级评测,对比 code mode 开关的效果。长任务下成本 -58%、墙钟时间 -51%、成功数提升 16 分;200 项时节省 47%-75% 成本,成功率先从 62-79% 回到 92-100%。

推荐理由

原文用 5276 次受控评测给出 code mode 在长任务上的收益与短板数据,并指出真正节省的是每次请求中的 token 而非往返次数。

来源:Pydantic AI 官方文章 · pydantic.dev