Pydantic AI 基准测试:code mode 让 8 个模型长任务成本降 58%、耗时降 51%
Pydantic AI 作者在 5 个小应用、8 个模型上跑了 5276 次分级评测,对比 code mode 开关的效果。长任务下成本 -58%、墙钟时间 -51%、成功数提升 16 分;200 项时节省 47%-75% 成本,成功率先从 62-79% 回到 92-100%。
推荐理由:原文用 5276 次受控评测给出 code mode 在长任务上的收益与短板数据,并指出真正节省的是每次请求中的 token 而非往返次数。