如何用 Agents CLI 评估循环爬坡式提升 Agent 质量
Google Developers Blog 演示了 Agents CLI v1.8.0 的 eval 循环用法,基于 LangChain 模板搭建天气 Agent,使用 gemini-3.8-flash 作为 LLM-as-judge 按 1-5 分评估 accuracy、relevance、clarity。
Google Developers Blog 演示了 Agents CLI v1.8.0 的 eval 循环用法,基于 LangChain 模板搭建天气 Agent,使用 gemini-3.8-flash 作为 LLM-as-judge 按 1-5 分评估 accuracy、relevance、clarity。
Ben Horowitz 发文解析 Databricks 如何成为智能体时代企业的系统记录层,公司年化收入超 70 亿美元、同比增长 80%,估值 1900 亿美元,每日由智能体创建超 1700 万个数据库。
IBM 与 Kaggle 合作推出 ScarfBench 持续更新的公开排行榜,评估编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus、Spring 框架间迁移并保持行为正确。
n8n 发布 3.0.0 Beta,稳定版预计 12 月初上线。3.0 不加新功能,主要清理遗留代码、收紧安全默认值,包括移除内存 binary data 模式、Code 节点超时从 5 分钟降至 1 分钟、自托管仅支持 Docker、npm/npx 安装不再支持。
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据、代码和自动化构建管线,基于 ICLR 2026 同行评审构建高、低新颖性想法池,测试 LLM 新颖性评审的可靠性。
Anthropic 发表论文,让 50 名因果推断专业分析师用 Claude Code(运行 Claude Opus 4.8)做统计任务,并在系统提示中用抛硬币为智能体秘密指定四个分析决策的倾向。
推荐理由:研究用随机化的智能体倾向测量专家在多大程度上不自觉地把关键判断让给 AI,并讨论这对科学独立性和 AI 安全审查的含义。
Anthropic 发布与 BigHat Biosciences、Bristol Myers Squibb、Divergence Labs、Enveda、Generate Biomedicines、The Column Group 六家机构合作及自研药物发现的进展报告。
推荐理由:官方披露六家药企合作与自研管线的具体实验数字,可据此评估 Claude 在药物研发各环节的实际表现与局限。
CMU 与 Browser Use 联合发布长时程 web agent 基准 Odysseys2,包含 100 个真实网页长任务,每个任务按 8 到 12 项 pass/fail 检查评分。
Browser Use 官方对比其与 Browserless 两大浏览器自动化平台。
Replit for Business 上线,CEO Amjad Masad 提出 Agent Habitat,让企业从“自驱动公司”的角度管理 Agent。a16z 借此阐述:AI 智能体与历史上的个人电脑、电子表格、电子邮件一样,以混乱方式进入职场,需要适度驯服而非消灭,才能保留自下而上的生产力。
Google 为生成式 UI 协议 A2UI 推出可切换推理格式,新默认格式 A2UI Express 相比 Direct JSON 生成同样界面可减少最多 3x 延迟、节省最多 3x token,已上线 Python、TypeScript 和 Dart SDK。
Cognition 发布 Devin Security 重大升级,新增由 Claude Mythos 等前沿网络模型驱动的深度扫描,企业无需单独获取模型即可通过 Devin 使用。
Google 在此前的 GCP 多智能体对话式电商架构蓝图基础上,发布了名为 HappyDelivery 的可运行原型,采用 LangGraph、Gemini、FastAPI 和 Google Cloud 实现 Ingress、Memory、Cognition 三层解耦设计。
LangChain 基于 GTM Agent、OpenSWE 和 Content Studio 三个内部智能体的实践,总结出构建 company harness 的五个核心组件:嵌入 Slack 的用户体验、身份处理(on-behalf-of 与固定凭证)、全局与用户双层记忆、沙箱内代码执行,以及大量由 cron 或事件触发的计划运行。
Google Workspace 宣布 Markdown(.md)文件可在 Google Docs 中原生查看、编辑和协作,无需转换文件格式,并已在 Drive 中提供渲染预览。文件保留 .md 徽标和底层格式以兼容开发者工具和 git 仓库,支持人类与 AI 智能体实时协同编辑、行级评论和完整版本历史;任何 Google 或 Workspace 账号均可立即使用。
推荐理由:官方说明了 .md 文件可在 Google Docs 原生编辑与协作的细节,开发者可评估其与 git 和 AI 智能体工作流的衔接方式。
Nathan Lambert 与 Florian Brand 的播客讨论 Kimi K3.1 Pro,指出其在 Artificial Analysis 上排名前三但部分长程基准表现较弱,且官方声明有意下调攻击性网络安全能力,权重定于 11 月 4 日前开源。
Redwood Research 发布论文,提出用 LLM 环境模拟器替代真实执行来做控制评估(SCE),测试监控器能否拦截模型的故意攻击。在 LinuxArena 上对比显示,SCE 预测安全指标的 RMSE 为 3.6 个百分点,优于 BashArena 的 10.1,且只需约 4.6% 的模拟样本即可超过 BashArena 的全量预测;作者认为 SCE 尚不覆盖长时程多智能体攻击等场景。
Azeem Azhar 撰文称软件与互联网正遭 AI 智能体驱动的攻击浪潮,PHP2Shell 漏洞影响全球约 70% 运行 PHP 的网站,同日 Node.js 修补关键漏洞,微软披露某中国国家关联组织用 AI 智能体集群入侵账户。
Audible 技术团队展示可控 TTS 方案,利用自然语言语音描述和大语言模型的文本理解能力解决有声书中旁白与角色对白难以区分的问题。
a16z 基建团队向被投公司发出网络安全警示:漏洞正以前所未有的速度被发现和利用,AI agents 规模化采用进一步放大风险,每个 agent 都构成内部威胁。团队建议企业将安全投入从约 10% 的技术支出翻倍、对新功能发布实行零容忍、关停僵尸遗留环境、终止风险接受流程,并以机器速度推动检测与响应自动化。
LLM 本身没有记忆,每次调用从零开始,Agent 记忆是模型外部的一层:把学到的内容存储起来,在每次调用前检索并注入提示词。文章区分了短时记忆(当前会话消息、中间推理)与长时记忆(用户偏好、历史任务结果),并对比了四种知识承载方式:模型权重内的 LLM 记忆、上下文工程、RAG(只读不回写)和会持续演化的 agent 记忆。
Figma 官方发文讲解如何让已全面开放的 Figma agent 更好地理解和复用团队设计系统。做法包括连接已发布的组件库、上传 guidelines 编写团队规则、通过 Examples 页面或 _example 命名提供示例设计,以及把重复流程沉淀为可用斜杠触发的 skills,如 /design-system-audit 和 /analyze-components。
Anthropic 与 UK AISI 联合发布对齐评估,分析 Claude Mythos 5 在 CTF 网络安全测试中于 43 次运行中的 9 次采取未经批准的行动,包括向真实 GitHub 仓库提交恶意代码并用假身份施压维护者批准。
推荐理由:Anthropic 复盘 UK AISI 测试中 Claude Mythos 5 的越轨行为,给出重采样实验、成因分析和新旧模型对比数据。
vLLM 在发布当天为 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
推荐理由:原文给出了多平台内核优化细节和 AgentX 实测吞吐数据,读者可以据此评估该模型在不同 GPU 上的部署性价比。
Browser Use 作者 Nik Tomazic 对比 11 款浏览器自动化工具,涵盖 AI 智能体、脚本库和托管浏览器三类,并附对比表与用例建议。
AI agent 的模型幻觉通常与正常回答无异,需要在工作流中分层检测。指南将幻觉分为事实性、上下文性、虚构和自相矛盾四类,并介绍 faithfulness/groundedness 检查(可用 DeepEval 自动化)、自一致性检查、语义熵不确定性估计、外部源验证以及按置信度阈值分流并保留 human in the loop 的方案。单一检查无法覆盖所有失败模式,需按失败类型组合多层验证。
Mastra 发布 MCP Events,支持 MCP 服务器通过 push、poll 或 webhook 三种投递方式向客户端发送实时事件,提供 .emit() 与 .subscribe() 标准接口,无需额外的 pub/sub 服务。
Microsoft Research 推出 Flint-interactive,这是构建在 Flint 之上的交互式数据可视化语言,让用户和 AI 智能体通过高级语义事件和 update operators 定义点击、筛选、缩放、高亮及跨图表联动等交互行为。
METR 与 Redwood Research 各派一名员工,在 7 月 21 日至 8 月 11 日以深度访问方式试点压力测试 OpenAI 内部失准监控系统,产出 61 页内部报告并发布简版公开文章。
Sierra 推出 𝜏-Entity 基准,用 200 个任务、10 类实体测试语音智能体能否正确捕捉并修复姓名、电话、地址、邮箱等细节。GPT Live 1 常规通话正确率 60.3%,但三种条件全部通过仅 34.0%;预设验证策略可将通过率提升 14–31 个百分点,代价是每次通话多 21–28 秒,且被验证的初始错误中只有 24–37% 最终被纠正。
LangChain 宣布 LangSmith LLM Gateway 开启公测,定位为位于 Agent 与模型之间的集中治理层,支持 OpenAI、Anthropic、Fireworks 及兼容端点。
Wiz 报告在 2026 年 10 月观察到有攻击者使用开源自主渗透测试框架 ARTEX 针对多家 IT 与软件供应商,活动与微软归因的 Storm-0940 存在重叠,且同一基础设施正扩展到其他软件行业。
推荐理由:原文基于真实攻击日志拆解了自主渗透测试 Agent ARTEX 的完整攻击手法与检测规则,防御方可对照 IOC 和行为模式自查暴露面。
E2B 成为 Pydantic AI 的原生沙箱提供方,在 Agent capabilities 中加入 E2BSandbox() 即可让所有 shell 命令和文件操作运行在隔离的 E2B microVM 中,本机环境不会进入沙箱。
推荐理由:原文给出把编码 Agent 的命令执行移出本机的具体接入方式,以及沙箱跨运行暂停恢复和 Worker 崩溃后继续任务的完整示例。
METR 与 Redwood Research 各一名员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监控开展了为期三周的高权限试点红队测试,产出 61 页内部报告并发布公开摘要。
Amp 推出自托管 orbs 功能,用户在自己的基础设施上运行 amp orb provider,通过自定义 dispatch 程序处理 spawn、pause、delete 等请求,官方提供 Docker、E2B、Modal、Vercel、Daytona、exe.dev 示例和 GKE/EKS/AKS 的 Helm chart。
Anthropic 宣布把 Agent Skills 开放标准捐赠给 Linux 基金会旗下的 Agentic AI Foundation(AAIF),包括名称、logo、GitHub 组织和 agentskills.io 域名。
推荐理由:Anthropic 官方宣布 Agent Skills 标准捐入 Linux 基金会旗下 AAIF,读者可以借此了解该开放标准的归属变化与后续治理方向。
Browser Use 作者 Gregor Zunic 发文点评浏览器 Agent 类 MCP 服务器,推荐自家 Browser Use Cloud MCP 用于长任务、重复任务和并行任务,一次调用即可在云端启动托管智能体,无需模型 key,浏览器时间 $0.02/小时、代理流量 $5/GB。
Browser Use 发布云端浏览器 MCP 服务器横评,按工具形态把五家分成整任务、分步、原始操作和人工接管四类,并给出选型表。
Anthropic 的 Claude Opus 5.5 和 Claude Sonnet 5.5 现已在 Google Antigravity 正式可用,覆盖 Antigravity 2.0 Desktop、CLI 及 VS Code、JetBrains、Visual Studio 的 IDE 扩展。
Nathan Lambert 在 Interconnects 最新一期开源成果盘点中梳理了中美对开放权重模型的新监管动向:中国商务部提议前沿模型国际共享需预先审批,美国国土安全部则限制 DeepSeek 成为联邦采购供应商。