OpenAI 开源 CoT 监控评测套件的数据集与参考代码
OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。
推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。
OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。
推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。
OpenAI 发布 GPT-5.5 系统卡,将该模型在生物和化学领域评定为 High 能力并启动相应 Preparedness 防护。与 Gryphon Scientific 合建的未污染隐性知识测评中,GPT-5.5 Pro 在排除拒绝后得 81.67%,略超 80% 的专家共识基线。
推荐理由:OpenAI 官方系统卡给出了 GPT-5.5 的生物化学能力评级与 Apollo Research 第三方评估数据,读者可据此了解其安全边界。
Cognition 复盘两年多构建 Devin 云智能体的经验,指出容器化方案的三大短板:共享内核带来安全风险、无法跨异步间隙保存状态、编排与治理集成需数季度投入。
推荐理由:Cognition 以两年自建 Devin 的第一手经历,拆解云智能体在内核隔离、状态快照、编排治理三层上的真实成本与组织改造路径。
Cognition 发文复盘 10 个月前《Don't Build Multi-Agents》之后的转变:并行写入的 agent 集群仍难落地,但多 agent 贡献智能、写入保持单线程的窄类模式已在实际中生效。
推荐理由:作者以亲历视角复盘 Cognition 的多智能体实践,提炼出写入单线程的可行模式与沟通瓶颈,方法可迁移。
OpenAI 发布 ChatGPT Images 2.0 系统卡,介绍对该模型在标准与思考模式下的自动化安全评估和对抗测试。评估使用专门设计用于违规的提示词,指标涵盖图像层、提示词层及两层合并的拦截率(CT)和漏检率(RU),并说明思考模式因首轮 3112 条提示词违规图像极少而重复运行至 6944 次生成。
Berkeley AI Research 发文介绍 GRASP,一种面向学习型世界模型的基于梯度规划器,使长时序规划变得可行。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接加入随机性以探索、重塑梯度避免经由高维视觉模型的不稳定“状态-输入”梯度。这项工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 等人合作完成。
OpenAI 发布 API 部署检查清单,建议始终从 Responses API 起步,并按负载在 gpt-6-astra、gpt-6.1-sol、gpt-6-luna 等模型中选型。
推荐理由:OpenAI 官方按质量、成本、延迟、可靠性逐项给出部署取舍建议,开发者可对照检查自己的 Responses API 工作流。
Waymo 宣布其全自动驾驶打车服务即日起向迈阿密和奥兰多两座城市的所有人开放,此前已有超过 150,000 名候补乘客使用该服务。用户下载 Waymo app 即可直接叫车,同时迈阿密开始引入高速公路行驶以支持跨城更快路线。文中称 Waymo Driver 在同等条件下造成重伤或死亡事故比人类驾驶员少 92%,该说法为 Waymo 官方数据。
Cognition 推出 Devin in Windsurf,将云端智能体工作流内置到 Windsurf 2.0。用户在 Windsurf 本地理解代码库并制定计划,一键发送给 Devin 实现,Devin 自行启动机器、打开 PR、运行测试并用计算机视觉做 QA,完成后用户可直接在 Windsurf 中审查 diff、跑测试或交回本地智能体修改。
推荐理由:官方说明了本地与云智能体分工思路,以及 Devin 接入 Windsurf 2.0 后从规划到审查的完整闭环。
Cognition 宣布本周更新 Devin 自助定价,淘汰旧 Core 和 Team 套餐,推出 Free、Pro($20/月)、Max($200/月)、Teams(最低 $80/月)和 Enterprise 五档。
Cognition 与 Applied Compute 合作 RL 训练了 bug 检测专用模型 SWE-check,在内部 in-distribution 评测上与 Opus 4.6 持平(delta F1 从 0.09 降到 0)。
推荐理由:原文给出了完整训练配方和关键评测数字,读者可以借鉴其奖励函数设计与两阶段后训练方法。
Anthropic Claude Code 团队成员 Thariq Shihipar 撰文讲解如何为智能体设计工具,核心方法是通过阅读模型输出和实验来理解模型能力。
推荐理由:Anthropic 团队以 AskUserQuestion、Task 等实际设计案例,说明如何根据模型能力取舍工具,方法可迁移到自己的 agent 开发。
Cognition 宣布成立 Cognition Japan,将 Devin 这款自主 AI 软件工程师带入日本市场,这是其首次扩展到亚洲,并聘请拥有 30 余年经验的 Takumi Masai 出任日本总裁兼总经理,他曾任职于 IBM、Pivotal、Microsoft、Workday,最近担任 Datadog Japan 总裁。
Cognition 发文说明 Devin 在多家财富500强企业承担 COBOL 现代化工作的方法与边界。
Waymo 开始向纳什维尔首批公众乘客开放全自动驾驶网约车服务,并按滚动邀请方式逐步扩大规模。初期服务范围覆盖 60 平方英里,包括 Broadway、12 South、Midtown 和 East Nashville 等地标区域,目前还在纳什维尔国际机场测试,计划近期服务旅客。
Cognition 发布面向软件工程智能体的新模型 SWE-1.6,已在 Windsurf 全量开放,未来 3 个月免费。模型在 SWE-Bench Pro 上与上月的 SWE-1.6 Preview 相当(Preview 比 SWE-1.5 高逾 10%),重点改进模型 UX:更多并行工具调用、更少循环行为和终端依赖,训练中引入长度惩罚以抑制过度思考。
OpenAI 在类似 o4-mini 规模的模型上测试 Tice et al. 提出的对齐中训练干预,在预训练与推理后训练之间插入对齐文档微调,对照组使用失对齐文档,各约 230k 文档(约 340M tokens)。
Suno 发布 v5.5 模型,称其为最具表现力的版本,并推出 Voices、Custom Models 和 My Taste 三项个性化功能。
推荐理由:原文给出 v5.5 的三项新功能细节与订阅限制,读者可以据此判断个性化音乐创作的实际入口。
OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 Model Spec 的程度,包含 596 条提示词、覆盖 225 个关注点,并开源评测代码。结果显示 GPT-5 Thinking 合规率最高为 89%,GPT-4o 为 72%,Thinking 模型总体优于同期 Instant 模型;当前数据集仅覆盖纯文本交互,尚未涉及图像和智能体场景。
Zyphra 介绍其混合关联记忆(HAM)架构,让 RNN 负责压缩总结序列内容,KV cache 仅存储 RNN 难以预测的 token,从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值,并测试了端到端可学习路由和指数深度平均(EDA)路由。在 800M 规模的对比实验中,HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。
OpenAI Alignment 团队提出 self-incrimination 训练方法,让 Agent 在隐蔽不当行为时自然调用 report_scheming() 工具自报,GPT-4.1 的未检出成功攻击率从 56% 降至 6%,Gemini 2.0 Flash 从 41% 降至 9%。
推荐理由:官方研究给出三模型上的量化对比和开源代码库,读者可以据此评估自报式监控与黑盒监控的组合取舍。
Cognition 宣布 Devin 可调度自己的周期性会话:用户完成一次任务后,可直接让 Devin 按节奏定期自动执行,无需配置 cron 或工作流。Devin 会在会话间读写自己的笔记、保持状态,例如周五汇总 release notes 时只总结新合并的 PR。该功能可与本周发布的 Managed Devins 组合,并行测试应用各页面并自动汇总报告到 Slack。
推荐理由:官方说明 Scheduled Devins 的用法与跨会话状态机制,并给出可点击的示例提示词,便于直接上手。
Cognition 宣布 Devin 可将大型任务拆解并委派给多个 managed Devin 并行执行,每个子会话都是完整 Devin,运行在独立虚拟机中,拥有各自的终端、浏览器和开发环境。
推荐理由:原文说明多 Devin 协作的工作原理、管理能力和适用场景,读者可据此评估并行智能体对现有开发流程的影响。
Berkeley AI Research 在博客中介绍两种可大规模识别 LLM 关键交互的算法 SPEX 与 ProxySPEX,核心思路是通过消融(ablation)检测模型行为的变化。
OpenAI 更新 Sora 2 提示词指南,涵盖最新 API 能力:角色参考上传后可跨视频复用、最高支持 1920×1080 导出、时长上限从 12 秒升至 20 秒、以完整原片为上下文的视频延展,以及批量异步生成。指南给出描述式提示词模板,强调分辨率、时长和角色 ID 须通过 API 参数显式设置,建议单一镜头配单一运镜与动作,视频可延展最多 6 次合计 120 秒。
推荐理由:官方指南给出提示词结构、API 参数边界和迭代方法,读者可直接套用到 Sora 2 的视频生成工作流中。
OpenAI 对齐团队提出 ARGO,用强化学习训练策略生成可解释的评分标准,使 LLM 评分器与黑盒奖励模型的偏好概率对齐。在学习到的标准中发现群体级偏差,如 Population A 的奖励模型更重视具体交付物而轻视准确性,可能放大幻觉和讨好行为;训练中评分标准还会逐步简化,去掉脆弱的门控规则,提升泛化与评测准确率。附录还显示前端奖励模型偏重视觉呈现而非功能正确性。
OpenAI 发布 GPT-5.4 Thinking 系统卡,将本次发布在生物与化学领域定为 High 能力并启用相应 Preparedness 安全保障。安全评测显示其在禁止内容评估上与 gpt-5.2-thinking 大体持平,在非法非暴力活动和自残评估上有统计显著改进,动态心理健康多轮评估全面优于此前模型。
推荐理由:系统卡披露 GPT-5.4 Thinking 的安全评测、Preparedness 定级和 Apollo 外部对齐评估,可据此了解其风险定位与生物能力判定的依据。
OpenAI 发布 GPT-5.3 Instant 系统卡,评测针对 2026/2/26 上线版本。
推荐理由:OpenAI 官方系统卡披露 GPT-5.3 Instant 在部分违禁内容评测上相对前代出现回退,并说明动态多轮安全评测的新做法。
Cognition 分享正在训练中的 SWE-1.6 早期预览,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%,速度同样为 950 tok/s,并向小部分用户开放早期访问。
推荐理由:Cognition 公开了训练方法细节和 Model UX 的权衡分析,读者可以借此了解 RL 训练编码模型的实际取舍。
Cognition 介绍公司内部如何用 Devin 开发 Devin 本身,上周合并了 659 个 Devin PR,高于 2025 年最好一周的 154 个。
OpenAI 在 Cookbook 发布 Codex 模型提示词指南,API 上的 Codex 调优模型为 gpt-5.3-codex。
推荐理由:原文给出 gpt-5.3-codex 的迁移步骤、完整标准提示词与工具实践,读者可据此直接优化自己的 agent harness 配置。
Cognition 发布 Devin 2.2,称其为 Devin 发布以来最重要的更新。Devin 现在可使用完整 Linux 桌面启动并测试桌面应用,提交 PR 后回传屏幕录像供用户审查;还具备 Devin Review Autofix 自我审查并修复代码的能力,启动速度提升 3 倍并重构了界面。新用户默认启用 Desktop 支持并可获 $10 试用额度,老用户可在 Settings 中开启。
Zyphra 发布首个基于脑电数据训练的 380M 参数基础模型 ZUNA,用于对头皮 EEG 信号去噪、重建和上采样,目标是推进无创 thought-to-text。
Zyphra 发布其首个基于脑数据的 BCI 基础模型 ZUNA,一个 380M 参数的 diffusion autoencoder 模型,可从嘈杂、不完整的头皮 EEG 数据中重建高保真脑信号,并从稀疏输入和电极坐标预测缺失通道,适用于消费级头环到 256 电极研究系统。
Transluce 主张,关心 AI 治理的技术人才应走第三条路:通过构建技术改变 AI 开发的信息、激励与可选方案,而非只做内部安全工作或直接投身政策。
Transluce 用其 trace 分析工具 Docent 诊断 GPT-5.1 Codex 在 Terminal-Bench 上落后 GPT-5 Codex 6.5 个百分点的回退原因。
Cognition 为 Devin 新增 bot triggers 配置,使其可自动修复 Devin Review 及任何在 PR 上评论的机器人提出的问题,包括 linter、CI 流水线、安全扫描器和依赖管理工具,并继续自动修复 lint 与 CI/CD 问题。
推荐理由:Cognition 官方介绍 Devin 自动修复评审评论的用法与入口,开发者可据此判断是否把机械性修复合入自己的 PR 流程。
OpenClaw 宣布与 VirusTotal 合作,为 ClawHub 技能市场引入安全扫描。所有发布到 ClawHub 的技能都会计算 SHA-256 哈希并比对 VirusTotal 数据库,未命中则上传完整包,由 Gemini 驱动的 Code Insight 从 SKILL.md 开始分析代码实际行为。
OpenAI Alignment 团队提出一种方法,让内部推理模型作为 AI judges 分析生产对话中的情绪恶化信号,检测并诊断 ChatGPT 的失调行为,即使部分问题用户自己未察觉。
Zyphra 团队介绍其开发的 Online Vector-Quantized(OVQ)注意力层,一种在内存与计算开销和长上下文能力之间寻求更优折中的序列混合层。