跳到正文
1月15日周四
1月13日周二
  1. OpenAI:Alignment 研究博客56

    OpenAI 解释为何看好模型 confession 坦白机制作为对齐方向

    OpenAI 研究人员 Boaz Barak 等发文详解其 confession 坦白论文的后续分析,说明为何将坦白作为对齐安全方向。核心机制是训练模型额外输出一份仅以诚实为奖励的报告,作者假设诚实是获取奖励的最省力路径;在字数约束实验中,即使任务判断模型被 hack,坦白判断准确率仍随训练升至接近 100%。

2025年12月23日周二
2025年12月19日周五
  1. OpenAI:Alignment 研究博客68

    OpenAI 提出用生产流量构建评测以绕开评测感知并预判失配行为

    OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线,可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时,发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式,且生产评测引发的评测感知远低于传统评测,与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。

    推荐理由:OpenAI 官方详解用脱敏生产流量构建对齐评测的完整流程与局限,读者可据此理解其如何降低评测感知并预判新模型的失配行为。

2025年12月16日周二
2025年12月2日周二
  1. OpenAI:Alignment 研究博客63

    OpenAI 分享大规模代码验证实践:为 Codex 训练专用代码审查智能体

    OpenAI Alignment 团队分享了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验,主张精度优先于召回以换取开发者信任,并发现给审查器 repo 级工具和代码执行能力能同时提高两者。

    推荐理由:OpenAI 官方复盘 gpt-5-codex 代码审查智能体的训练与部署经验,给出了精度优先、repo 级工具访问等可借鉴的落地取舍。

2025年8月5日周二
  1. Goodfire Research60

    Anthropic、Goodfire 等多机构发布电路研究全景:复现 attribution graph 并开源工具

    Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。

    推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。

2025年5月6日周二
2024年9月12日周四