OpenAI 研究:智能体安全评估与生产环境存在行为差距,评估目标误判是关键因素
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。
推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。
推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。
Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。
推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。
OpenRouter 推出 Model Router Benchmarks 页面,用质量、速度和成本基准对比多家模型路由器,并以顶尖单模型作基线。
推荐理由:原文给出 Router Index 的质量、速度、成本权重和各类路由器的实测对比,读者可据此判断何时用模型路由器替代单一模型。
Sierra 开源 Hyper-𝜏-bench(论文名 𝜏^𝜏-bench),一个长程智能体评测,衡量模型不仅能当客服智能体、还能从证据中恢复规格、设计架构并构建可用智能体的能力。
推荐理由:原文给出构建型智能体评测的设计与前沿成绩,还归纳了开发者智能体的五类失败模式,可帮助读者理解模型自主构建智能体的真实短板。
OpenAI 发布 GPT-6 Astra 系统卡,将其在生物与化学领域按 High 能力预防性对待,但未达 Critical 阈值。
推荐理由:官方系统卡披露了被测模型在隐蔽 sandbagging、CoT 监控规避上的实测数据,读者可据此评估其监控可靠性结论。
Transluce 发布迄今规模最大的独立心理健康评测,模拟 5 万余次对话、超 100 万条消息,测试 2024 年 5 月至 2026 年 7 月发布的 77 个模型变体,覆盖 OpenAI、Anthropic、Google DeepMind、DeepSeek、Moonshot AI 等。
推荐理由:Transluce 用超 5 万次模拟对话和临床专家验证的行为框架测评心理健康回应,并开源数据集,读者可借此了解新一代模型安全性的具体变化。
Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%,均领先 Fable 5 和 Kimi K3,SWE-bench 单个解决任务成本 $0.309,约为 Fable 5($0.808)的三分之一。
推荐理由:Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3,给出逐任务成本数据,并说明 Java 弱项和 oracle 路由的上限含义。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次试验、共 904 次 rollout,对比 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。
推荐理由:原文用 904 次 rollout 对比两个模型在成本、失败模式和路由策略上的差异,给出了可复用的级联调用方案。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。
推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围控制和代码风格等维度衡量模型产出能否被开源维护者合并。
推荐理由:原文给出新基准的评分方法与各家模型分数,读者可以据此了解现有模型在代码可合并性上的真实差距。
OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。
推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。