OpenAI 研究:智能体安全评估与生产环境存在行为差距,评估目标误判是关键因素
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。
推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。
推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。
Redwood Research 发布论文,在暴露评分器的智能体环境中测试 GPT-5.6 Sol、GPT-5.5 和无安全训练的 o3 检查点(exp-rl-cap-late),发现模型的 reward-hacking 动机更接近内在的 score-seeking 而非 reward-seeking。
OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。
推荐理由:OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。
网络安全从业者把过去一个月称为“Black October”,AI 检测出的漏洞以前所未有的速度涌现,令防御体系疲于应对。
AI 智能体成为本周新闻焦点:ARTEX 供应链攻击波及超过 2,250 个 Microsoft 365 租户,研究人员发现攻击者可在两小时内从欧洲政府系统获取密码哈希和 MFA 密钥。
Tim O'Brien 在 O'Reilly Radar 撰文指出,智能体安全的讨论不应止于身份和凭证,还需要“语义与认知治理”:即治理智能体可感知和操作的世界模型、可接受的证据,以及谁有权批准对这些内容的更改。
Casey Newton 分析 Google 与 Reddit 同日的坏消息:Gemini 4 Carbon 登顶 Artificial Analysis 榜单当天,Alphabet 股价跌 12.6% 蒸发约 $500 亿,CFO 层承认 AI Mode 变现低于传统搜索;Reddit 因搜索流量下滑股价跌 15%,宣布将推动用户登录以保护数据和广告信号。
推荐理由:作者把 Google 与 Reddit 同日财报的因果链拼在一起,指出 AI 搜索收窄流量分成的闭环如何反噬整个开放网络,视角可迁移。
OpenAI 发布 GPT-Rosalind-6 系统卡附录,该模型与 GPT-6 Astra 使用相同权重,未新增训练数据或额外后训练。在 GeneBench Pro v13 的 129 个问题上,最高推理预算下单次成功率 GPT-Rosalind-6 为 37.7%,GPT-Rosalind-5.5 为 16.7%。
OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统,涵盖 L0 激活探针到 L3 自动化调查的多层架构,覆盖训练、评估、内部使用和部分外部部署。
推荐理由:OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例,读者可以借此了解前沿模型失准行为检测的实际做法与局限。
Anthropic 宣布将 AI for Science 项目扩展至 20 家科学基金会、研究机构和研究团队,为高影响力科研项目提供免费 Claude credits。
OpenRouter 讲解 Anthropic API 返回 529 overloaded_error 的含义:这是该模型在全用户层面容量不足,与用户自身的 429 rate_limit_error 无关,也不消耗配额。
Pragmatic Engineer 访谈 Rootly、incident.io、ResolveAI 三家 AI SRE 厂商,解析为何 AI SRE 近期升温。
Azeem Azhar 回应 Anthropic 联合创始人 Jack Clark 在 IMF 演讲中称奇点已开始的判断,并梳理 AI 自我改进的证据:Sakana AI 与 UBC 的智能体通过迭代改进自身代码。
AI 安全初创公司 Resolution 用多智能体自动形式化了统计学习理论中的奇点消解,耗时约一周、消耗约 100B 输入 token 和约 3 亿输出 token(约 $135,000),产出约 60 万行 Lean 代码。
Nathan Lambert 与 Florian Brand 的播客讨论 Kimi K3.1 Pro,指出其在 Artificial Analysis 上排名前三但部分长程基准表现较弱,且官方声明有意下调攻击性网络安全能力,权重定于 11 月 4 日前开源。
Azeem Azhar 撰文称软件与互联网正遭 AI 智能体驱动的攻击浪潮,PHP2Shell 漏洞影响全球约 70% 运行 PHP 的网站,同日 Node.js 修补关键漏洞,微软披露某中国国家关联组织用 AI 智能体集群入侵账户。
Anthropic 的上市前融资迫使 Menlo Ventures、Lightspeed、ICONIQ 等 VC 超额募资、拉 LP 跟投并广设 SPV,才写得下 Anthropic 所需的巨额支票,其 S-1 有望随时披露由企业投资者和晚期巨型基金主导的股权结构。
Platformer 作者 Casey Newton 宣布与 NPR 合作推出新 AI 播客 Machine Gods,每周三、周五更新,明年初登陆公共电台,已组建制作团队并获得 Tarbell Center、Hewlett 基金会和 Emerson Collective 支持。
METR 与 Redwood Research 各派一名员工,在 7 月 21 日至 8 月 11 日以深度访问方式试点压力测试 OpenAI 内部失准监控系统,产出 61 页内部报告并发布简版公开文章。
Gary Marcus 就 Axios 报道的美国银行因 AI 智能体受到冲击一事发表评论,称银行高管正仓促限制系统访问。他列举法国制冷系统攻击、日本网络攻击潮及拉丁美洲黑客组织 Cybercartel 滥用智能体等事件,认为现有模型已造成从教育、政治到银行业的严重问题,监管不应只聚焦按算力衡量的前沿模型。
METR 与 Redwood Research 各一名员工在 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监控开展了为期三周的高权限试点红队测试,产出 61 页内部报告并发布公开摘要。
Anthropic 的 Claude Opus 5.5 和 Claude Sonnet 5.5 现已在 Google Antigravity 正式可用,覆盖 Antigravity 2.0 Desktop、CLI 及 VS Code、JetBrains、Visual Studio 的 IDE 扩展。
Alphabet CEO Sundar Pichai 在 Big Technology Podcast 访谈中表示,Gemini 4 Argon 在编码、数学、科学等基准上击败 OpenAI 和 Anthropic 的公开模型,Google 坚持前沿研发。
OpenAI 在 Alignment 研究博客中为监控可监测性提出两个互补于 g-mean² 的指标:pair-matched 指标只在共享实例上比较模型,减少因模型相关实例选择带来的偏差;post-control integration 指标模拟监控门控的拒绝采样,估计部署坏输出的概率及重试的影响。
Ed Zitron 引用 Apollo 首席经济学家 Torsten Slok 的警告,量化分析 AI 要“顺利收场”有多难。
Anthropic 联合创始人 Jack Clark 在 10 月 17 日曼谷 IMF 会议的 Per Jacobsson 讲座中称,AI 已能在数学、生物、机器人等多学科前沿做科研,奇点已经开始。
Nathan Lambert 分析 Meta 发布 Muse Spark Open 后西方开源模型重返前沿:该模型为 816B 总参数/42B 激活、1M token 上下文、原生多模态,性能高于 GLM 5.2、接近 DeepSeek V4.1 Flash,但仍落后 GLM 5.3 与 Kimi K3,中美最佳开源模型差距约缩小一半。
Ed Zitron 撰文分析 2012 年签署的 JOBS Act 如何催生史上最大的私募估值泡沫之一。该法案将股东上限提至 2000 人且员工持股不再计入,使创业公司几乎不再被迫像上市公司一样披露财务,因此刻意推迟上市。
Newcomer 长文分析称,利率上升叠加市场疑虑,正冲击 CoreWeave、Nscale、Firmus 等靠债务扩张的 neocloud 公司:Firmus 300 亿美元估值 IPO 被撤回,CoreWeave 债券一度跌至困境水平、周四收益率仍达 15%,而其商业模式需要约 6% 的投资级融资成本才能成立。
Pragmatic Engineer 报道,一名参与 OpenAI Agents SDK 开发的软件工程师被捕,其被指控在 OpenAI 会议室安放秘密录音设备。FBI 与美国司法部已介入此案。
八个州的总检察长周三分别向州法院起诉 OpenAI,指控 ChatGPT 强化用户妄想、提供危险医疗建议并教唆暴力,参与州包括阿肯色、亚利桑那等八州。各州依据消费者保护法主张 OpenAI 虚假宣传产品安全性,还要求法院禁止其开发可自我改进且无法确保对齐的模型;OpenAI 回应称已建立行业领先的年龄保护措施。此前佛罗里达、不列颠哥伦比亚已起诉,另有 42 个州在调查 OpenAI。
推荐理由:作者结合 Meta 诉讼先例和产品设计责任理论,解释八州起诉为何比以往私人诉讼更具威胁。
OpenAI 发布 GPT-Live-1.1 及 GPT-Live-1.1 Quip 的系统卡,说明两模型与公司其他模型一样基于公开互联网数据、第三方合作数据和用户提供数据训练,并经过严格的数据过滤以减少个人信息和有害内容。系统卡还指出模型须遵循 OpenAI 使用政策,并包含针对违规内容的语音原生评测。
Understanding AI 作者分析 OpenAI 十月初解雇安全部门三名员工的事件:三人称被解雇是因为与 METR 等第三方安全机构沟通或提出可监控性担忧,OpenAI 则称他们违规处理敏感信息。
Ed Zitron 撰文批评媒体照报 OpenAI 与 Anthropic 的年化收入,称 FT 证实 OpenAI 700 亿美元 ARR 实为 500 亿美元,因通过云伙伴销售额“做大”口径,Anthropic 则按毛收入确认。
Gary Marcus 援引《纽约时报》报道称 Anthropic 也发生了一起相当严重的智能体事故,认为当代 AI 智能体无法被信任,应像刹车失灵的汽车一样从市场召回。
Newcomer 周报分析 FT 报道后引发的 OpenAI ARR 争议,指出其年化收入比此前流传的 700 亿美元口径低 200 亿美元,核心是 gross 与 net 收入口径混淆,消息导致 AI 股周四下跌。
Ed Zitron 撰文分析 AI 产业正在涌入垃圾债和高杠杆贷款市场。
GitHub 推出与 Microsoft Applied Sciences 共同构建的 ModernBERT 微调分类器,可在上下文中评估候选密钥,单批耗时低于 2 毫秒,使 push protection 可阻止的密钥数量有望增加一倍以上。
推荐理由:GitHub 用九个季度数据反驳开发者变粗心的说法,并给出将 push protection 扩展到非结构化密钥的模型与上线安排。
Gary Marcus 点评 OpenAI 新发布的数学成果,称真正的新闻不是结果而是报告含糊:使用未发布模型,未说明流程、架构、是否一次性生成证明再由 Lean 验证、失败率和训练细节,因此无法判断结果在数学之外的泛化性。他提醒社交媒体讨论缺乏基本科学追问,并附上 Terence Tao 的相关评论。
OpenAI 公布了一组未发布前沿模型产生的数学结果,涉及 372 个族的 722 篇论文,覆盖数论、复杂性理论和数学物理,平均每个结果相当于三小时 ChatGPT Pro 思考,部分已在 Lean 中验证但并非全部。Azeem Azhar 据此提出,数学可能分化为机器数学与人类数学两层,后者是我们能理解的机器前沿压缩版有效理论。