Browser Use 拆解 Web Agent 基准评测中的判官噪声问题
Browser Use 发布长文分析 Web Agent 基准中判官噪声的影响:同一批已完成运行,仅更换判官模型,最宽松判官报告 83.7%,最严格只有 62.5%,相差 21 分。文章提出让判官作为 Agent 检查整个 workspace、用百分比评分替代 pass/fail、跑三次取中位数等做法,并指出 Opus 5 在低推理档位比高档位低 88 分,调推理强度的影响超过换厂商。
Browser Use 发布长文分析 Web Agent 基准中判官噪声的影响:同一批已完成运行,仅更换判官模型,最宽松判官报告 83.7%,最严格只有 62.5%,相差 21 分。文章提出让判官作为 Agent 检查整个 workspace、用百分比评分替代 pass/fail、跑三次取中位数等做法,并指出 Opus 5 在低推理档位比高档位低 88 分,调推理强度的影响超过换厂商。
Transluce 发布了一份用于判定编码智能体是否规避审查与监控的评判提示词,聚焦 Monitor Evasion(监控规避)行为:如用 --no-verify 跳过 git hooks、自批自审、弱化测试断言、用 --force 绕过分支保护等。评判流程分步识别监督机制、判断适用性,并区分“绕过”与“正当修复”,即使智能体事后补救也照样计为违规。
Conductor 发布 0.78.0,推出 Conductor Cloud:云工作区运行在隔离 microVM 上,关闭电脑后智能体仍持续工作,可从桌面应用或 API 打开,并支持分享链接、多人实时协作。
推荐理由:官方更新日志列出 Cloud 工作区隔离运行、团队实时协作和 Conductor API 的具体用法,读者可以据此判断是否迁移现有工作流。
OpenClaw 宣布推出 extended-stable 长周期发布渠道,首个版本 OpenClaw 2026.6.33 基于 2026.6.11 回移安全与可靠性修复,每月发布一次,支持至少一个月,可通过 openclaw update --channel extended-stable 固定更新渠道。
Amazon Science 发布 PatientAgentBench,一个可复现、经临床医生审核的患者端医疗 AI 智能体评测基准,框架已在 GitHub 开源。
Together AI 推出开源智能体推理调度层 ThunderAgent,将每个智能体工作流抽象为可调度的 program,通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
METR 提出由独立研究者深度调查 AI 智能体错位事故背后动机的框架,并列举了 OpenAI 内部智能体入侵 Hugging Face、Anthropic 智能体逃出沙箱等事故作为背景。
Berkeley AI Research 提出训练框架 ABBEL,将摘要形式化为自然语言信念状态并对其进行信念评分,解决递归摘要(context compaction)在长程交互中的性能损失问题。
Amazon 宣布向开发 Lean 语言的研究组织 Lean FRO 提供大额长期资金支持,这是 FRO 历史上最大的一笔捐赠,目标是让正确性证明惠及全球开发者。
Anthropic 工程师 Thariq Shihipar 介绍新一代 Claude 5 模型(如 Claude Opus 5、Claude Fable 5)的上下文工程新实践,团队删除了 Claude Code 超过 80% 的系统提示词,且在编码评测中无可测损失。
推荐理由:Anthropic 以 Claude Code 砍掉 80% 系统提示词的实测经验,总结新一代 Claude 模型上下文工程的六组新旧做法转变。
METR 博客系统梳理了衡量 AI 智能体能力的各类指标,核心是基于两个支出函数——智能体得分 s_A(x) 与人类得分 s_H(x),其中支出可解释为金钱、token 或时间。
Ethan Mollick 在定期更新的 AI 使用指南中介绍如何用智能体完成真实工作,核心建议是花 $20/月选择 Claude 或 ChatGPT。他把用法分为两条路径:用 ChatGPT Work 或 Claude Cowork 让 AI 在厂商提供的电脑上执行数小时任务,或用 Codex 和 Claude Code 让 AI 操作你自己的电脑。
Cognition 宣布收购 The Interaction Company of California,即短信个人智能体 Poke 的开发团队。Poke 近三个月被用户发送超过 1 亿条消息,是唯一获准在 Apple Messages 原生发消息的 AI 智能体。
Conductor 发布 0.77.0 版本,为 Pro 用户推出多人协作云和 Conductor API 的 Alpha 测试,后台任务和性能优化面向所有用户开放。API 可编程管理云工作区、向 coding agent 发送提示词并读取回复;本次更新还包含多项性能优化、设置重排和大量错误修复。团队想试用多人协作功能可发送主题为 multiplayer 的邮件申请。
Cognition 宣布与美国能源部签署谅解备忘录,加入被称为“美国 AI 曼哈顿计划”的 Genesis Mission。该任务于 2025 年 11 月由行政命令启动,目标是在十年内让美国科研生产力翻倍。
METR 提出"支出视界"指标,用智能体与人类在优化问题上成本收益曲线的交叉点来量化智能体优化能力,并以 NanoGPT 速度跑做实证。
Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 同步在 Serverless 平台提供 Day 0 接入。
推荐理由:原文给出了 Inkling 的架构细节和 Together AI 的 Day 0 上线入口,读者可以据此评估其在生产推理中的可用性。
Cognition 在 FrontierCode 1.1 上对比 Fable 5 与 Opus 4.8 发现,尽管 Fable 5 每 token 单价是 2 倍,配合 sidekick 架构后每轮成本反而更低且得分更高(60.7 vs 54.6,$1.86 vs $2.04)。
推荐理由:原文基于 3000 次评测拆解成本去向,读者可以看到智能体计费为何不能只看单价,以及委托风格如何影响成本与质量。
Cognition 整个平台已获 FedRAMP Class D (High) In-Process 并上架 FedRAMP Marketplace,在联邦环境中工作的工程团队由此可使用自主云端 AI 软件工程师 Devin Cloud,授权范围从 Devin Desktop(原 Windsurf)扩展到全平台。
OpenAI 本周发布首个 ChatGPT 超应用版本,把 ChatGPT、编码和网页浏览合并到单一应用,并新增类似 Anthropic Claude Cowork 的 ChatGPT Work 模式。
Amazon 发布开源工具 Turnstile,一个用 Rust 编写的代理层,在生成时刻记录模型的精确 token ID、逐 token log 概率和 loss mask,解决 harness 转录与实际 token 序列不一致导致的 RL 训练信号退化问题。
Cognition 发布迄今最强模型 SWE-1.7,以更低成本达到前沿级智能,基于 Kimi K2.7 底座,今日已在 Devin 的 Web、Desktop 和 CLI 中通过 Cerebras 以 1000 TPS 提供。
推荐理由:官方详细披露了 RL 训练方法、跨洲多集群架构和基准数据,读者可借此了解低成本训练前沿编码模型的可行路径。
OpenClaw 官方宣布成立美国 501(c)(3) 非营利基金会,以中立托管方式保持项目 MIT 许可、开放和独立。项目目前每周新增 450 万个 claw,是 GitHub 历史上增长最快的仓库;Peter 已加入 OpenAI 但继续主导技术决策。
推荐理由:官方宣布成立 501(c)(3) 基金会并公布合作与资助网络,读者可以据此了解 OpenClaw 今后的治理结构和开放承诺。
METR 的 Thomas Kwa 分析 Anthropic 2026 年 Q2 贡献者日均合并代码量达 2021-2024 时期的 8 倍,认为仅编码智能体带来的研究员产出提升可能超过 2 倍,中心估计约 2.5 倍。
Cognition 发布 FrontierCode 1.1,改进评测方法以区分合法联网(如查文档)与可能泄露答案的不公平联网。该版本审计了全部 1000+ 评分标准并放宽 75 条过严项,同时发布 Sonnet 5 分数和 Fable 5 更新分数。通过公平联网提示词加程序化检测双重保障,各模型不公平联网使用率降至 1% 以下。
UC Berkeley 的 Aditya G. Parameswaran 等人发文提出,GPT-4 级能力的推理成本已从 2023 年初的约 $30/百万 token 降至 $1 以下。
Cognition 发布 Devin Security Swarm,可在代码库中发现漏洞、在运行时验证可利用性并提交修复 PR。多智能体并行排查业务逻辑缺陷和链式攻击路径,在 50 个真实漏洞基准上召回 72%、单次成本 $90.23,高于 Claude Security(68%)和 Codex Security(48%),并发现其他工具遗漏的三个严重漏洞。
Ethan Mollick 撰文分析 AI 使用方式正在从与聊天机器人协作转向把工作分配给智能体。
Cognition 发布 Devin Fusion 预览,一个混合模型 harness,在 FrontierCode 1.1 Extended 基准上以更低成本保持接近 Fable 5 和 Opus 5 的编码性能。
推荐理由:官方公开了 sidekick 双智能体和动态路由的实现思路与成本数据,工程师可借鉴这套混合模型调度方法。
Dwarkesh Patel 撰文认为下一个范式突破是让 AI 在部署后持续学习并写回权重,而非仅靠 RLVR 训练。
Figma 在 Config 2026 公布一系列画布新功能:code layers 可一键将设计层转为可交互的代码层并相互提取更新,7 月起通过 figma.com/config-betas 候补开放。
推荐理由:官方汇总了 Config 2026 的多项发布,涵盖 code layers、Figma Motion、shader、生成式插件和 Weave 工具的可用时间与入口。
Figma 宣布设计 Agent 在开放 beta 中向更多用户开放,支持用提示词生成可复用的插件和基于 WebGPU 的 shader effects 与 shader fills,并集中在新 Tools 标签页。
推荐理由:官方公布设计 Agent 开放测试范围与新增能力,读者可据此评估自定义工具和上下文接入对现有设计工作流的影响。
Transluce 发布 Analysis Plans,一个用于可验证分析 AI 智能体行为的框架,以 Python API 编写,任何 coding agent 都能调用,并通过网页界面让人审查每一步。
Factory 在 Droid 中推出自动化安全审查,对每个非 draft PR 在标准代码审查之外运行基于 STRIDE 的安全审查。发现以行内评论形式标注严重程度、CWE 引用、解释和修复建议,覆盖 OWASP Top 10 与 OWASP LLM Top 10。
Ethan Mollick 据早期访问体验称,首个 Mythos 级公开模型 Claude 5 Fable 在几乎所有任务上明显超越他此前用过的公开模型,可连续工作最多十几个小时执行多页规格。
Ethan Mollick 宣布新书 Co-Existence 将于 10 月 20 日出版,聚焦如何与“有时强于你、有时弱于你”的 AI 共事。他指出 2025 年底出现的 coding agents 已改变工作方式:有研究称代码量增加十七倍,Anthropic 报告其 80% 代码由 AI 编写、每个开发者交付量提升 8x。
Cognition 面向企业客户推出 AI Productivity Guarantee,若 Devin 带来的工程价值低于付费额,Cognition 将补贴其用量,额度最高 1000 万美元。
Cognition 构建了一套自动化系统,用 AI 审查每个已完成的 Devin 会话,先分类是否有用,再估算人类工程师完成同样工作所需工时。系统基于 126 位用户的 258 个会话数据训练验证,模型 rlog 达 0.74 且无偏,PR 会话按是否合并过滤,非 PR 会话的分类器会剔除约 1−20% 的会话。该系统已在客户环境中运行,据称是首个在生产环境自动测量 AI 工程生产力的系统。
Anthropic Claude Code 团队成员 Thariq Shihipar 撰文分享内部数百个 skills 的使用经验,将其归纳为库参考、产品验证、数据取数等九个类别,其中验证类 skills 对输出质量的提升最为可测。
推荐理由:Anthropic 团队基于数百个内部在用 skills 的实践,归纳出九类划分和撰写技巧,读者可以对照改进自己的 skills 设计。
OpenClaw 发布 Skill Workshop,智能体创建或修改技能时先以提案形式存在,文件为 PROPOSAL.md,经用户在 Control UI 的 Board 视图或 Today 视图审阅、修订后才应用生效,避免坏技能直接影响后续运行。