Dwarkesh 研究发现 2019-2025 预训练进步主要来自数据改进

Dwarkesh Patel 通过训练 2019 到 2025 各年代表性模型配方与数据语料的组合（最高 1e19 FLOPs），发现数据改进带来的计算效率增益为 12.0x，模型改进为 3.7x，数据贡献约 3.24 倍于模型，且两者增益基本相互独立，线性模型可解释 88% 的 OLMES 分数方差。