ChinaTalk 分析美国数据公司向中国 AI 实验室出售约 5 亿美元 RL 环境的现象
ChinaTalk 作者 Aqib Zakaria 分析称,Mercor、Surge AI、Turing、AfterQuery 等美国数据公司正出售总值约 5 亿美元的数据给中国 AI 实验室,其中相当部分是用于后训练的强化学习(RL)环境。
ChinaTalk 作者 Aqib Zakaria 分析称,Mercor、Surge AI、Turing、AfterQuery 等美国数据公司正出售总值约 5 亿美元的数据给中国 AI 实验室,其中相当部分是用于后训练的强化学习(RL)环境。
Ben Horowitz 发文解析 Databricks 如何成为智能体时代企业的系统记录层,公司年化收入超 70 亿美元、同比增长 80%,估值 1900 亿美元,每日由智能体创建超 1700 万个数据库。
Pragmatic Engineer 采访27家公司的工程负责人和资深工程师,结合 CodeRabbit 与 Gitar 数据分析工程师AI工具支出及PR吞吐变化。
Nathan Lambert 撰文认为,AI 研究者看到的是模型在基础设施和工程能力上的大幅加速,数年内模型会成为超人类 GPU 工程师,但这不会让模型本质发生巨变。他预测推理时计算扩容将使模型智能的有效成本近指数级下降,预训练架构与数据选择研究可能在 2-3 年内自动化,并触发 Jevons 悖论推高 Agent 需求;但技术扩散主要惠及数学和编码等领域,而非全面通向超级智能。
Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 三位研究者讨论递归自我改进(RSI)距离现状还有多远。
Charlie O’Neill 撰文指出,许多人宣称未来属于 RL 环境或 RL 是新的 scaling law,却少有人按此信念理性行动,如同信 scaling 却不买 NVIDIA call、信 AGI 却不买地。
Charlie O'Neill 撰文讨论持续学习,认为当前 AI 智能体像失忆的实习生,只能靠上下文里的笔记而非自身进步。他指出 LLM 只有两种原生记忆,KV cache 无损但昂贵,Llama 3.1 70B 在约 431,000 token 时缓存超过 141 GB 的权重,权重稳定但难以安全更新。
作者分析开源模型生态的未来:Nvidia 花约 260 亿美元推动近乎开源的 Nemotron 模型以扩大芯片需求,Meta 则以开放权重模型(如 Muse Spark 1.2)冲击 Anthropic 和 OpenAI 的 token 销售收入。
Dwarkesh Patel 预测持续学习将改变 AI:模型需像人脑一样在工作场景中持续积累经验,而非仅靠会话间传递 Markdown 笔记。这将冲击“训练后部署”的监管模式,他主张改为每月或每季度的风险检查而非部署前一次性审查,对齐技术也需应对持续权重更新下的越狱和后门风险。
Dwarkesh Patel 撰文认为下一个范式突破是让 AI 在部署后持续学习并写回权重,而非仅靠 RLVR 训练。
Charlie O’Neill 发表长文分析,以《办公室》中 Michael Scott Paper Company 的比喻论证开源 AI 无需在原始基准上追平前沿实验室,只需在真正重要的“智能天花板”即可自动化的经济价值工作上胜出。
现代大语言模型像失忆症患者,context window 填满后只能靠摘要重启,而 KV cache 随上下文线性增长,持续学习必须把信息从 token 层移入权重层。
Anthropic 为 Claude 制定了宪法(Constitution),作为训练中价值观与行为的最终依据。