跳到正文
Redwood Research:Blog· Jeffrey Olmo·· 20 天前AI 评分58

Redwood Research 提出模拟控制评估(SCE)方法并发布论文

Simulated Control Evaluations

AI 导读

Redwood Research 发布论文,提出用 LLM 环境模拟器替代真实执行来做控制评估(SCE),测试监控器能否拦截模型的故意攻击。在 LinuxArena 上对比显示,SCE 预测安全指标的 RMSE 为 3.6 个百分点,优于 BashArena 的 10.1,且只需约 4.6% 的模拟样本即可超过 BashArena 的全量预测;作者认为 SCE 尚不覆盖长时程多智能体攻击等场景。

来源:Redwood Research:Blog · blog.redwoodresearch.org