OpenAI:Alignment 研究博客· Author list TBD·精选AI 评分62
OpenAI 开源 CoT 监控评测套件的数据集与参考代码
Open Sourcing Monitorability Evaluations
AI 导读
OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。
推荐理由
原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。
来源:OpenAI:Alignment 研究博客 · alignment.openai.com