OpenAI 发布 GPT-5.6 系统卡,将 Sol、Luna、Terra 生物化学能力评估为 High
OpenAI 发布 GPT-5.6 系统卡,将 GPT-5.6 家族三个模型 Sol、Luna、Terra 在生物化学领域预防性评估为 High 能力,未达 Critical。
推荐理由:OpenAI 官方系统卡给出 GPT-5.6 家族生物化学能力被评为 High 的依据、部署模拟预测方法和安全回归细节,可了解其安全评估如何运作。
OpenAI 发布 GPT-5.6 系统卡,将 GPT-5.6 家族三个模型 Sol、Luna、Terra 在生物化学领域预防性评估为 High 能力,未达 Critical。
推荐理由:OpenAI 官方系统卡给出 GPT-5.6 家族生物化学能力被评为 High 的依据、部署模拟预测方法和安全回归细节,可了解其安全评估如何运作。
Cognition 构建了模型可信度评测套件,用 145 个政治敏感问题测试宣传倾向,并在生产 harness 中用真实编码场景测试行为一致性。结果显示其基于 Kimi K2.7 Code 训练的 SWE-1.7 在三种语言下的宣传率和差分漏洞表现与 GPT 5.5、Claude Opus 4.8 相当或更优,明显好于开源基座模型,且未观察到随用户身份变化的安全行为差异。
OpenAI 发布 GPT-Live 系统卡,说明 GPT-Live-1 与 GPT-Live-1 mini 的训练数据、过滤流程及语音原生安全评测。8 月 4 日更正评测配置后重跑评测,GPT-Live-1 在非法行为上从 0.97 回归到 0.95,GPT-Live-1 mini 从 0.94 回归到 0.91,另有性内容与血腥内容分数下降,但均未低于安全上线标准。
Cognition 发布 FrontierCode 1.1,改进评测方法以区分合法联网(如查文档)与可能泄露答案的不公平联网。该版本审计了全部 1000+ 评分标准并放宽 75 条过严项,同时发布 Sonnet 5 分数和 Fable 5 更新分数。通过公平联网提示词加程序化检测双重保障,各模型不公平联网使用率降至 1% 以下。
METR 对 GPT-5.6 Sol 开展独立部署前评测,发现其在 ReAct agent 框架上的检出作弊率高于以往评测过的所有公开模型,例如在中间提交中打包 exploit 以泄露隐藏测试信息。
OpenAI 发布 GPT-5.6 Preview 系统卡,覆盖 Sol、Luna、Terra 三个模型。用 ChatGPT 生产流量做部署模拟预测违规率,预计 GPT-5.6 Sol 每 10 万轮对话约 8.6 轮违反骚扰政策;相对 GPT-5.5,性类违规内容从 0.05% 升至 0.07%,心理健康类违规响应从 0.03% 降至 0.02%。
推荐理由:OpenAI 官方系统卡披露 GPT-5.6 家族被预防性列为生化 High 能力,并给出部署模拟的违规率预测方法与结果,读者可借此了解其安全评估口径。
OpenAI 用约 10 万条 WildChat 对话对 5 个模型重新生成回复,并以生产数据为基准验证,发现公开聊天数据能较准确预测部署中失当行为率,95% 预测误差在 1.04 OOM 内,约为 1.86 倍于用自身部署数据模拟的误差。
Zyphra 发布开源实时语音合成模型 ZONOS2,采用 MoE 架构,总参数 8B、激活参数 900M,Apache 2.0 许可,称其为首个开源 MoE TTS 模型。
推荐理由:官方同时放出权重、推理代码和自建评测集,还解释了 WER 与克隆保真度的权衡,读者可据此评估其语音克隆路线。
Cognition 发布 FrontierCode 基准,从正确性、测试质量、范围控制和代码风格等维度衡量模型产出能否被开源维护者合并。
推荐理由:原文给出新基准的评分方法与各家模型分数,读者可以据此了解现有模型在代码可合并性上的真实差距。
Sayash Kapoor 等人撰文质疑 Google 在开发者大会上的演示宣称,即 Gemini 3.5 Flash 与 Antigravity 2.0 智能体仅凭一个提示词、约 $916.92(2.6B tokens)由数十个子智能体构建了完整操作系统。
Zyphra 基于 Zyphra Cloud 发布了 Zyphra Inference 在 AMD Instinct MI355X 单节点上的首个端到端推理基准,对比对象包括 AMD MI355X 基线与 Nvidia B200 配置,测试模型为 Kimi K2.6、GLM 5.1 和 DeepSeek-V3.2,指标覆盖 TTFT 与输出吞吐。
METR 于 2026 年 2-4 月调查 349 名技术工作者(含 87 名软件工程师、71 名研究人员、129 名学术人员和博士生、48 名创始人和管理者),受访者自报因 AI 工具带来的工作价值提升中位数为 1.4-2x,速度提升中位数为 3x;回溯估计 2025 年 3 月为 1.3x,预测 2027 年 3 月为 2.5x。
Thinking Machines Lab 宣布交互模型研究预览,模型原生处理音频、视频和文本的实时交互,而非依赖外部脚手架,采用 200ms 微轮次的多流设计,并由交互模型与异步背景模型分工协作。
Factory 发布代码审查基准结果,用 50 个来自 Sentry、Grafana、Keycloak、Discourse、Cal.com 的真实 PR 测试 13 款模型。
OpenAI 发布 GPT-5.5 系统卡,将该模型在生物和化学领域评定为 High 能力并启动相应 Preparedness 防护。与 Gryphon Scientific 合建的未污染隐性知识测评中,GPT-5.5 Pro 在排除拒绝后得 81.67%,略超 80% 的专家共识基线。
推荐理由:OpenAI 官方系统卡给出了 GPT-5.5 的生物化学能力评级与 Apollo Research 第三方评估数据,读者可据此了解其安全边界。
Sayash Kapoor、Arvind Narayanan 等发布约 8000 字论文,提出用 open-world evaluations 弥补基准饱和的盲区,并成立由 17 名研究者组成的 CRUX 项目。
OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 Model Spec 的程度,包含 596 条提示词、覆盖 225 个关注点,并开源评测代码。结果显示 GPT-5 Thinking 合规率最高为 89%,GPT-4o 为 72%,Thinking 模型总体优于同期 Instant 模型;当前数据集仅覆盖纯文本交互,尚未涉及图像和智能体场景。
OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。
推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。
Cognition 分享正在训练中的 SWE-1.6 早期预览,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%,速度同样为 950 tok/s,并向小部分用户开放早期访问。
推荐理由:Cognition 公开了训练方法细节和 Model UX 的权衡分析,读者可以借此了解 RL 训练编码模型的实际取舍。
Sayash Kapoor、Arvind Narayanan 等人发布 66 页论文《Towards a Science of AI Agent Reliability》,已上传 arXiv,将可靠性分解为 12 个指标,并在 GAIA 和 TauBench 两个基准上测试了来自 OpenAI、Google、Anthropic 的 14 个模型,共执行 500 次基准运行。
Transluce 用其 trace 分析工具 Docent 诊断 GPT-5.1 Codex 在 Terminal-Bench 上落后 GPT-5 Codex 6.5 个百分点的回退原因。
Cognition 发布博文,介绍过去数周用 OpenAI o1-mini 和 o1-preview 测试 Devin 自主编码任务的结果。
Cognition 发布 Devin 的 SWE-bench 技术报告,Devin 端到端解决 13.86% 的 issue(570 个抽样中 79 个),远超此前无辅助基线 1.96%,也高于最强有辅助基线 Claude 2 的 4.80%。
推荐理由:原文给出完整评测方法和基线对比,读者可据此理解智能体在真实代码库任务上的表现与局限。