Cognition 模型 / Devin 博客·精选AI 评分73
Cognition 发布 Devin 的 SWE-bench 技术报告，解决率达 13.86%
SWE-bench technical report2024.03.15One of our goals at Cognition is to enable Devin, an AI agent specializing in software development, to contribute code successfully to large, complex codebases.
AI 导读
Cognition 发布 Devin 的 SWE-bench 技术报告，Devin 端到端解决 13.86% 的 issue（570 个抽样中 79 个），远超此前无辅助基线 1.96%，也高于最强有辅助基线 Claude 2 的 4.80%。
推荐理由
原文给出完整评测方法和基线对比，读者可据此理解智能体在真实代码库任务上的表现与局限。
来源：Cognition 模型 / Devin 博客 · cognition.com