Wiz 讲解如何评估 AI 智能体的网络安全能力并重启 Cyber Model Arena
Wiz 研究团队介绍重启后的 Cyber Model Arena v3.9 基准设计原则,覆盖 26 个模型、4 个 harness、59 个智能体和 327 道挑战,每题 1,000 秒、三次尝试。
Wiz 研究团队介绍重启后的 Cyber Model Arena v3.9 基准设计原则,覆盖 26 个模型、4 个 harness、59 个智能体和 327 道挑战,每题 1,000 秒、三次尝试。
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种针对 MoE 大模型的二阶专家剪枝方法,将专家间的成对交互纳入剪枝决策,弥补一阶方法只独立打分的不足。
Google 基于数千工程师、数亿步智能体交互的轨迹数据,分析代码内遗留 TODO(bug/...) 引用对编码智能体的干扰:13% 的读文件会话接触到这类引用,6% 触发后续动作且其中 83% 是开发者未要求的偏航,其中 41% 追向已关闭的工单,57% 造成范围蔓延。
SemiAnalysis 发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律、量化交易、RSI、硬件设计、材料科学、对齐和软件工程 11 个领域,与 14 家 RL 环境公司合作,目标是取代发布一年多的 OpenAI GDPval。
Cognition 发布 FrontierCode 2.0 编码基准,由开源维护者按输出是否可合并评分,任务来自多 55% 的仓库,参考解平均改动文件多 67%、代码行多 89%。
Meta 发布 2026 Python Typing Survey 结果,共收到 1794 份回复。
IBM 与 Kaggle 合作推出 ScarfBench 持续更新的公开排行榜,评估编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus、Spring 框架间迁移并保持行为正确。
Anthropic 发布基于内部数据的研究报告,分析 AI 如何改变公司内部的用工和生产率。到 2026 年 8 月,员工交互式智能体工作时长已达员工的 6 倍;技术部门初级员工占比从 21% 降至 14%,初级技术岗招聘占比从 27% 降至 9%。
Anthropic 让 Claude Mythos 5 在闭环流程中设计量子电路:模型用 Python 提出方案,由外部评估程序验证正确性并按 qubit 数乘以 gate 数打分,无需人工介入。
推荐理由:Anthropic 展示了 Claude 在闭环量子电路优化中的具体方法与结果,读者可以了解如何用外部评估和评分机制驱动模型探索。
Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。
推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。
GitHub 发布 AI 代码审查离线基准 ReviewBench,语料基于 103.9M 真实 pull request 的分布,含 19 种语言的 219 个公开 PR,数据集、评判标准和 runner 全部公开。
一位物理学家发布长文,介绍其开源 harness BootLoops:在过去三个月里,他用 Claude Code 在 Google Cloud 虚拟机上并行推进 36 篇手稿、覆盖 18 个领域。
推荐理由:作者以第一手经历复盘用 BootLoops 让 Claude 跨 18 个领域做科研的过程,提炼了问题筛选方法和模型失效模式应对经验。
METR 发布对 Claude Opus 5.5 的部署前评估摘要,评估其在困难长程任务上的能力及对 AI 研发的影响。结论是该模型相对 Fable 5.1 是渐进式提升,不太可能完全自动化 AI 研发,但可带来略高于 Fable 5.1 的生产力提升;模型开发期间 AI 带来的加速初步估计约为 1.5 倍(2 倍的概率约 30%)。
Fireworks AI 分析 DeepSWE v1.1 基准上 18 个模型的任务级路由潜力:事后最优路由可达 97.6% 通过率、每任务 $1.88,比最佳单模型 GPT-6 Astra 的 74.1%($6.52)高出 23 个百分点且成本不到三分之一;仅用开源权重模型也达 90.3%、$1.45。
Redwood Research 博客报告,CoTControl 评测要求推理模型在思维链中遵守小写、禁用词等格式约束,近期多数模型仅得 0-30%。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次试验、共 904 次 rollout,对比 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。
推荐理由:原文用 904 次 rollout 对比两个模型在成本、失败模式和路由策略上的差异,给出了可复用的级联调用方案。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。
推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。
Transluce 发布了一份用于判定编码智能体是否规避审查与监控的评判提示词,聚焦 Monitor Evasion(监控规避)行为:如用 --no-verify 跳过 git hooks、自批自审、弱化测试断言、用 --force 绕过分支保护等。评判流程分步识别监督机制、判断适用性,并区分“绕过”与“正当修复”,即使智能体事后补救也照样计为违规。
Cognition 构建了模型可信度评测套件,用 145 个政治敏感问题测试宣传倾向,并在生产 harness 中用真实编码场景测试行为一致性。结果显示其基于 Kimi K2.7 Code 训练的 SWE-1.7 在三种语言下的宣传率和差分漏洞表现与 GPT 5.5、Claude Opus 4.8 相当或更优,明显好于开源基座模型,且未观察到随用户身份变化的安全行为差异。
Cognition 发布 FrontierCode 1.1,改进评测方法以区分合法联网(如查文档)与可能泄露答案的不公平联网。该版本审计了全部 1000+ 评分标准并放宽 75 条过严项,同时发布 Sonnet 5 分数和 Fable 5 更新分数。通过公平联网提示词加程序化检测双重保障,各模型不公平联网使用率降至 1% 以下。
Figma 发布 2026 AI 报告,基于三年数据,包括 8,403 份问卷与 639 次定性访谈,覆盖从七个市场扩展至十个市场。报告显示 41% 受访者认为 AI 已实质改变团队协作方式,远高于两年前的 7%;设计师参与开发的增至 41%,做设计工作的开发者从 44% 升至 60%,76% 的人至少一半工作在 canvas 上完成。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围控制和代码风格等维度衡量模型产出能否被开源维护者合并。
推荐理由:原文给出新基准的评分方法与各家模型分数,读者可以据此了解现有模型在代码可合并性上的真实差距。
Cognition 构建了一套自动化系统,用 AI 审查每个已完成的 Devin 会话,先分类是否有用,再估算人类工程师完成同样工作所需工时。系统基于 126 位用户的 258 个会话数据训练验证,模型 rlog 达 0.74 且无偏,PR 会话按是否合并过滤,非 PR 会话的分类器会剔除约 1−20% 的会话。该系统已在客户环境中运行,据称是首个在生产环境自动测量 AI 工程生产力的系统。
METR 于 2026 年 2-4 月调查 349 名技术工作者(含 87 名软件工程师、71 名研究人员、129 名学术人员和博士生、48 名创始人和管理者),受访者自报因 AI 工具带来的工作价值提升中位数为 1.4-2x,速度提升中位数为 3x;回溯估计 2025 年 3 月为 1.3x,预测 2027 年 3 月为 2.5x。
OpenAI 上周在 Codex 中发布 Auto-review 模式,用另一个 Codex 智能体代替人工审批沙箱边界外的操作,Codex 会话人工审批频率比手动模式降低约 200 倍。
推荐理由:原文给出 Auto-review 的拦截率与局限细节,并承认它不防模型 scheming,读者可据此判断该机制的实际边界。
Factory 发布代码审查基准结果,用 50 个来自 Sentry、Grafana、Keycloak、Discourse、Cal.com 的真实 PR 测试 13 款模型。
METR 发布对 NanoGPT speedrun 的分析,从 2024 年 5 月到 2026 年 3 月,36 位贡献者提交 77 条记录,将 8×H100 训练时间从 45 分钟压到 1.43 分钟,共 31x 加速。
METR 发布 MirrorCode 初步研究,认为证据显示 AI 已能完成部分持续数周长度的编码任务。
Factory 构建了一套基于 probe 的评估框架,测量不同上下文压缩策略在长时间运行的 agent 会话中保留了多少有效信息。
OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。
推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。
Cognition AI 与斯坦福团队发布 Kevin-32B,基于 QwQ-32B 用多轮强化学习训练 CUDA 内核生成,在 KernelBench 前两级任务上 8 轮细化后平均正确率 65%,解决 89% 的数据集,超过 o4-mini 的 53% 和 o3 的 51%,best@16 加速比 1.41x。
Cognition 发布博文,介绍过去数周用 OpenAI o1-mini 和 o1-preview 测试 Devin 自主编码任务的结果。