OpenAI 发布 ARGO 方法，将黑盒奖励模型蒸馏为可解释评分标准

OpenAI 对齐团队提出 ARGO，用强化学习训练策略生成可解释的评分标准，使 LLM 评分器与黑盒奖励模型的偏好概率对齐。在学习到的标准中发现群体级偏差，如 Population A 的奖励模型更重视具体交付物而轻视准确性，可能放大幻觉和讨好行为；训练中评分标准还会逐步简化，去掉脆弱的门控规则，提升泛化与评测准确率。附录还显示前端奖励模型偏重视觉呈现而非功能正确性。