跳到正文
OpenAI:Alignment 研究博客· Author list TBD·精选AI 评分62

OpenAI 开源 CoT 监控评测套件的数据集与参考代码

Open Sourcing Monitorability Evaluations

AI 导读

OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。

推荐理由

原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。

来源:OpenAI:Alignment 研究博客 · alignment.openai.com