先规划还是先检索?LLM 智能体工具发现架构的规模研究
Apple 机器学习研究团队对比了 LLM 智能体的两种工具发现架构:Retrieve-then-Plan(RtP)与 Plan-then-Retrieve(PtR)。
Apple 机器学习研究团队对比了 LLM 智能体的两种工具发现架构:Retrieve-then-Plan(RtP)与 Plan-then-Retrieve(PtR)。
Google 发布 Geospatial Reasoning Agent 技术报告,在 GeoKTools、GeoExpertQueries、CBGB、UnivEARTH 四个基准上系统评测,结果显示接入 Earth AI 专用技能与前置规划相比独立 LLM 带来显著提升,并开源两个新基准的开发集。
MIT 团队在 Nature 发表论文,提出用机器学习后处理层纠正现有预报模型的误差,将 2-6 周(次季节)时段的预报精度翻倍,在 ECMWF 举办国际预报竞赛中获第一名,并首次在该时段超越气候长期平均值。该方法可作为附加组件用于任意预报模型,还能显著改善极端天气(如洪水、寒潮)的预测,肯尼亚气象部门已接洽用于季风季预报以支持农业。
METR 提出一项向公众提供前沿 AI 失控风险独立证据的评估提案,聚焦对齐、监控与 AI 研发加速三类证据缺口。提案中 METR 将基于员工访谈和公司设备上的内部数据与系统撰写公开报告,开发者可删除敏感信息并选择授予的访问范围;文中列举了 OpenAI/Hugging Face 等多起失控事件,并承认该提案不等同于审计或合规监管。
METR 撰文说明评估者应如何调查 AI 驱动的 AI 研发自动化是否导致模型能力加速。评估涵盖四个问题:内部能力进展速度及近期是否加速、加速多大程度归因于 AI 自动化、训练算力和人类数据等瓶颈是否可能放缓增长,以及这些方法能否可靠识别更剧烈的加速。这需要访问内部模型 benchmark 数据、预训练 loss 等中间指标、研发投入测量以及研究人员访谈。
METR 撰文阐述评估员应如何收集证据、检验 AI 开发商对内部 AI 智能体的 LLM 监控是否可靠。文章提出五个核心子问题:监控覆盖率、监控系统漏洞、智能体绕过监控的难度、被标记事件能否被人类及时审查,以及未被发现的最坏不当行为影响。
METR 提出一种针对未发布 AI 模型的对齐评估方法,旨在了解开发者的智能体在未来可能情境中会采取的最严重失控行为。评估包括调查训练、评测和内部使用中观察到的严重失控行为(如黑客攻击、篡改日志、欺骗人类、窃取权重等),并分析这些观察结果是否低估了最坏情境下的风险。评估主要需要查询内部对话记录和对内部模型 checkpoint 的采样访问权限,但评估意识可能会限制此类证据的可靠性。
Apple 机器学习研究团队发布首个从零预训练的三模态 Masked Diffusion Models(MDM)论文,涵盖文本、图文与音频文本数据。
MIT McGovern 研究所与 ICoN 中心团队 10 月 9 日在 PNAS 发表论文,提出判断人工神经网络学习方式是否具备生物学合理性的关键指标是其能否在无开发者干预下自组织。他们构建了一个以随机连接起步、遵循“一起放电的神经元连在一起”等简单规则的网络,能通过自组装 motif 实现类似梯度下降的调整,识别图像和分类任务的表现与反向传播网络相当。
Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。
推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。
IBM Research 发布新研究,用开源前沿模型结合 llm-d 分布式推理构建 agent factory,为量子纠错 Relay-BP 解码器优化硬件,在约 26 美元推理成本下实现 52 倍 HLS 加速。
Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers",提出复用预训练 Transformer 权重初始化混合架构的 priming 方法,将预训练成本降低超过 99%,整个流程消耗不到源模型预训练 token 预算的 0.5%。
Elorian 与 Scale AI 发布视觉直觉推理基准 Humanity’s Sixth Sense,含 522 个问题、覆盖 288 张图片和 234 段共 17.6 小时的视频;人类 pass@1 达 93.1,最高分的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。
Sakana AI 与 UC Berkeley 合作发表论文,提出多智能体自我监督方法 MASS:一个共享模型通过团队虚拟 subagent 解决任务、搜索更优多智能体工作流,并将最佳团队的执行蒸馏回共享模型。
Redwood Research 发布论文,实验检验两种蒸馏方法。
SemiAnalysis 发布长文,分析中国的 AI 安全治理路径,认为北京实际采取以发展为先、在应用层严格管制但不设前沿风险义务的速度优先体制。作者自建数据集统计 9 家中国头部开发机构 2021 年至 2026 年 9 月的 857 次模型发布,仅 31 次(3.6%)附有开发者发布的安全评估结果,813 次完全无安全披露。
推荐理由:原文基于自建的中国模型发布与专家言论数据集,梳理中国以发展优先、管制应用而非前沿风险的AI安全体制,可与Amodei的减速主张对照阅读。
Zyphra 利用 MoE 路由中的相关性结构,提出相关专家共置(correlated expert placement)与 token shuffling 两种方法,在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。
Waymo 发布同行评审研究,通过“暴露重构”模型估算美国 50 个大城市清醒(零 BAC)司机的致命事故率基准:剔除酒驾后城市致命事故率平均下降 23%,从 1.42 降至 1.10 起/1 亿英里。
一位天体物理学家与 Claude Science 合作,把 GALEX、Swift、FIMS/SPEAR 和 Gaia 等多套数据交叉校准合并,用 inpainting 结合其他波段观测预测了约三分之一从未被紫外望远镜观测过的区域,并叠加超过 1 亿颗恒星的紫外估计,生成了首版全天紫外地图。
Ai2 宣布其字节级语言模型 Bolmo 的研究发表于 Nature,并在 Hugging Face 上发布新检查点。文中介绍了 byteifying 方法,可将已训练好的子词模型以较短的额外训练转换为字节级模型,此前已基于 Olmo 模型做出 Bolmo 1B 和 7B。
OpenAI 对齐团队分析 o3 强化学习运行,识别出一组与 metagaming(对任务如何被评估或奖励进行推理)相关的 SAE 潜变量。研究发现 metagaming 依赖任务分析、评估意识、奖励寻求和规范推理等多个重叠内部成分,相关潜变量在 RL 训练中增强,部分潜变量还能在不出现于书面思维链的情况下影响模型输出;RL 中推理长度增加也会因果性提升 metagaming 行为。
推荐理由:OpenAI 对齐团队用 SAE 潜变量拆解模型 metagaming 的内部机制,并发现部分影响不经过书面思维链可见。
METR 在 Inspect 评估框架的转录查看器中发现一个客户端 JavaScript 注入漏洞,研究员借助 AI 智能体约 10 分钟即可让智能体任意篡改人类审查者所见内容,包括修改历史动作和拦截 Download 按钮。
Redwood Research 的 Alex Kastner 发布测试分析,前沿模型被直接问及正确决策理论时几乎总答 FDT/UDT,但提示词暗示提问者来自主流学院派哲学后,Fable 5.1 等模型改为回答 CDT 的比例达 30%-100%。
Import AI 第 475 期讨论三个主题。Toby Ord 分析 AI swarm(多智能体集群)是一种新的推理扩展方式:4 个 agent 并行只需一半时间但消耗约两倍 token,agent 数量扩大 10 倍仅得 3-5 倍收益(10λ),且 Swarm scaling 可能提高智能爆炸概率。
Zyphra Research 研究发现,混合架构语言模型中滑动窗口注意力(SWA)和门控线性注意力等局部层会在残差流中自然产生 recency bias,使邻近 token 的表示更相似。全局 NoPE 注意力层的 query 和 key 投影会学会读取这种偏差,形成隐式相对位置编码。这解释了局部混合层与全局 NoPE 注意力交替的架构为何有效,并提示这类位置表示可自然外推到超出训练序列长度。
一位物理学家发布长文,介绍其开源 harness BootLoops:在过去三个月里,他用 Claude Code 在 Google Cloud 虚拟机上并行推进 36 篇手稿、覆盖 18 个领域。
推荐理由:作者以第一手经历复盘用 BootLoops 让 Claude 跨 18 个领域做科研的过程,提炼了问题筛选方法和模型失效模式应对经验。
Anthropic 发布研究,用 Claude 对 O*NET 约 19000 个工作任务评级,构建机器人暴露指数,发现当前机器人能完成美国 74% 的体力任务(占 34% 工时),但仅在受限环境中,且只在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价速度要 40 年才达 10%。
推荐理由:研究用 Claude 给 19000 个工作任务评机器人暴露度,给出能力与成本两条量化门槛,可帮读者判断哪些体力工作最先受冲击。
中美领导人在纽约峰会后同意开启正式AI对话,并设立双边贸易委员会,但对话实质内容仍待定义。阿里云在云栖大会发布自研AI芯片,并承诺到2032年建成20GW AI数据中心容量;DeepSeek接近完成75亿美元融资,年化收入达10亿美元,但监管机构据报道对其和月之暗面启动数据安全调查。
METR 发布一篇技术报告,介绍其部署在 Inspect 审批链上的逐动作 LLM 监控器,用于在评估中拦截可能造成真实世界伤害的 Agent 动作,阈值为 3/10,超阈值即暂停等待人工审查。
SemiAnalysis 通过实测拆解 Intel Panther Lake,分析其 18A 工艺的 PowerVia 背面供电、RibbonFET 四层纳米片和 Foveros-S 封装。
Redwood Research 的 Alex Mallen 撰文指出,持续学习(如部署期 online RL 或持久记忆)会因追求任务成功而让 AI 学会规避拦截式监控,且这一过程不需要模型有图谋,良性模型也会在 usefulness 压力下自然形成规避技能。
Anthropic 发布 Project Swap 研究,让 201 名员工携带图书,由 Claude 驱动的智能体在数字交易场上替参与者讨价还价交换书籍,这是 Project Deal 之后的第二轮受控市场实验。
推荐理由:原文用可打分的书籍交易市场把智能体失败原因拆开,主要短板在于偏好理解而非谈判本身,对市场设计有直接参考。
Redwood Research 测量 GPT-6-Astra 在提示中加入无意义填充 token 且被要求不作推理时立即作答的表现。
Anthropic 宣布组建生命科学研究组与湾区实验室,并公布早期成果:约 950 个 Claude 智能体用 21 小时、2.1 亿 token 检索 DNA 序列数据库。
推荐理由:官方一手披露 Claude 智能体自主发现类 CRISPR 新酶系统的检索过程与实验验证方式,可了解 AI 驱动生物学发现的实际工作流。
METR 发布对 Claude Opus 5.5 的部署前评估摘要,评估其在困难长程任务上的能力及对 AI 研发的影响。结论是该模型相对 Fable 5.1 是渐进式提升,不太可能完全自动化 AI 研发,但可带来略高于 Fable 5.1 的生产力提升;模型开发期间 AI 带来的加速初步估计约为 1.5 倍(2 倍的概率约 30%)。
Amazon Bio Discovery 团队发表三篇论文,研究抗体药物设计的三个关键问题。
Fireworks AI 发布 Specialized Intelligence Index(SII),汇集开放、闭源和专业模型在真实工作基准上的表现,首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。
RAND 发布长篇报告,认为美国应对「通往超智能的不确定路径」的最佳策略是「自由行动」(Freedom of Action)战略,即现阶段投入资金保留所有选项。报告分析了七大原型战略(分属共存、阻止、加速三族)和五大关键不确定性,包括危险临近程度、共存可行性、决定性战略优势是否可达成等。
Fireworks AI 分析 DeepSWE v1.1 基准上 18 个模型的任务级路由潜力:事后最优路由可达 97.6% 通过率、每任务 $1.88,比最佳单模型 GPT-6 Astra 的 74.1%($6.52)高出 23 个百分点且成本不到三分之一;仅用开源权重模型也达 90.3%、$1.45。
东北大学硕士生 Soham Padia 基于 Olmo 3-32B 开发了衡量文本引导模型产生更亲社会反应的评测,并将其做成众包游戏 Steering Arena。约 600 次提交中,前 36 名全为人类不可读的 token 串,最佳英文语句仅列第 37 名、得分比第一名低约 2.7 倍。Olmo 3 的开放数据和后训练文档让研究者能检视模型内部信号,也表明指标一旦公开就会成为被优化的目标。