OpenAI 研究预训练、RL 与模型生成数据如何影响 CoT 可监测性

OpenAI 发布研究，分析预训练、架构、强化学习和模型生成数据对思维链（CoT）可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力，RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性，且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型，表明模型随规模扩大变得更难通过 CoT 监测。