METR:Blog·· 29 天前AI 评分44
评估者如何调查 AI 自动化 AI 研发带来的能力加速证据
How an assessor could investigate evidence of acceleration from the automation of AI R&D
AI 导读
METR 撰文说明评估者应如何调查 AI 驱动的 AI 研发自动化是否导致模型能力加速。评估涵盖四个问题:内部能力进展速度及近期是否加速、加速多大程度归因于 AI 自动化、训练算力和人类数据等瓶颈是否可能放缓增长,以及这些方法能否可靠识别更剧烈的加速。这需要访问内部模型 benchmark 数据、预训练 loss 等中间指标、研发投入测量以及研究人员访谈。
来源:METR:Blog · metr.org