跳到正文
OpenAI:Alignment 研究博客·AI 评分54

OpenAI 发布 Model Spec Evals 评测套件,公开 596 条提示词与评测代码

Introducing Model Spec Evals

AI 导读

OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 Model Spec 的程度,包含 596 条提示词、覆盖 225 个关注点,并开源评测代码。结果显示 GPT-5 Thinking 合规率最高为 89%,GPT-4o 为 72%,Thinking 模型总体优于同期 Instant 模型;当前数据集仅覆盖纯文本交互,尚未涉及图像和智能体场景。

来源:OpenAI:Alignment 研究博客 · alignment.openai.com