OpenAI 研究：有益特质 RL 训练可带来跨域且持久的对齐泛化

OpenAI 发表研究，发现用强化学习在真实场景中训练诚实、可纠偏、认知谦逊等有益特质，能让模型在 44/53 个未参与训练的公开和内部对齐评测上超越算力匹配的基线。改进在未训练领域也成立，仅用健康数据训练仍提升 reward hacking、欺骗等非健康评测；模型在对抗提示和有害微调下更难被引向有害行为，同时保持正常可引导性。