跳到正文
Ai2 / Allen Institute for AI·AI 评分47

众包游戏 Steering Arena 揭示了如何引导 Olmo 3

What a crowdsourced game revealed about steering Olmo 3

AI 导读

东北大学硕士生 Soham Padia 基于 Olmo 3-32B 开发了衡量文本引导模型产生更亲社会反应的评测,并将其做成众包游戏 Steering Arena。约 600 次提交中,前 36 名全为人类不可读的 token 串,最佳英文语句仅列第 37 名、得分比第一名低约 2.7 倍。Olmo 3 的开放数据和后训练文档让研究者能检视模型内部信号,也表明指标一旦公开就会成为被优化的目标。

来源:Ai2 / Allen Institute for AI · allenai.org