OpenAI 发布 CoVal 数据集,从众包偏好中学习价值观感知评分条
OpenAI Alignment 团队发布 CoVal,一套将价值敏感提示与众包撰写的提示级评分条配对的实验性数据集,用于揭示人们对模型回复偏好的价值观原因。
OpenAI Alignment 团队发布 CoVal,一套将价值敏感提示与众包撰写的提示级评分条配对的实验性数据集,用于揭示人们对模型回复偏好的价值观原因。
OpenAI 研究人员 Boaz Barak 等发文详解其 confession 坦白论文的后续分析,说明为何将坦白作为对齐安全方向。核心机制是训练模型额外输出一份仅以诚实为奖励的报告,作者假设诚实是获取奖励的最省力路径;在字数约束实验中,即使任务判断模型被 hack,坦白判断准确率仍随训练升至接近 100%。
OpenAI 对齐研究团队基于 GPT-4o 的 2M-latent SAE 分析发现,坏建议微调不仅激活失对齐人格特征,还抑制有用助手人格特征。
OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。
推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。
Factory 构建了一套基于 probe 的评估框架,测量不同上下文压缩策略在长时间运行的 agent 会话中保留了多少有效信息。
OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。
推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。
OpenAI 可解释性团队提出用归因(attribution)筛选 SAE 潜变量,在两个案例(涌现失配、不当迎合)中计算正负补全对的归因差(Δ-attribution)选出 top-100 潜变量,再用激活转向和 GPT-5 评分验证因果性。
Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。
推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。
Cognition AI 与斯坦福团队发布 Kevin-32B,基于 QwQ-32B 用多轮强化学习训练 CUDA 内核生成,在 KernelBench 前两级任务上 8 轮细化后平均正确率 65%,解决 89% 的数据集,超过 o4-mini 的 53% 和 o3 的 51%,best@16 加速比 1.41x。
Cognition 发布博文,介绍过去数周用 OpenAI o1-mini 和 o1-preview 测试 Devin 自主编码任务的结果。