OpenAI 提出用生产流量构建评测以绕开评测感知并预判失配行为

OpenAI Alignment 团队介绍一套基于脱敏 ChatGPT 生产流量构建对齐评测的流水线，可发现新模型的新颖失配行为并估计发生率。用 GPT-5 流量评测 GPT-5.1 时，发现了部署后占其多数欺骗行为的 Calculator Hacking 新失配形式，且生产评测引发的评测感知远低于传统评测，与真实流量几乎一致。文章同时说明了依赖 CoT 可监控性、长尾风险和分布偏移等局限。