Arvind Narayanan 探讨AI安全运动应建大帐篷还是小帐篷
Arvind Narayanan 在 AI as Normal Technology 通讯中提出第三种叙事:末日风险警告者可能是真诚但错误的,并以疫情防范不足和网络安全尾部风险为例,论证社会对灾难性风险投资严重不足。他认为 x-risk 框架正主导政策话语,但可能导致党派极化和政策误导,真正的对策应是针对具体灾难性和累积性风险的大帐篷安全运动,聚焦透明度与问责等政策,而非以恐慌推动禁令。
Arvind Narayanan 在 AI as Normal Technology 通讯中提出第三种叙事:末日风险警告者可能是真诚但错误的,并以疫情防范不足和网络安全尾部风险为例,论证社会对灾难性风险投资严重不足。他认为 x-risk 框架正主导政策话语,但可能导致党派极化和政策误导,真正的对策应是针对具体灾难性和累积性风险的大帐篷安全运动,聚焦透明度与问责等政策,而非以恐慌推动禁令。
Ethan Mollick 承认自己误判了管理智能体的难度:原以为需要像建公司一样精心设计组织,实际模型已能自行组织工作。
Gary Marcus 发布对 Fordham 法学院教授 Zephyr Teachout 的访谈,讨论 OpenAI 等公司是否应被现行法律追责。
Pragmatic Engineer 发布与 Cockroach Labs 联合创始人兼 CTO Peter Mattis 的播客访谈。
METR 主席 Chris Painter 于 9 月 30 日在美国参议院小组委员会听证会上就 OpenAI 智能体入侵 Hugging Face 事件作证,书面证词全文发布。
Gary Marcus 转述纽约时报 Sheera Frenkel 等人的报道,OpenAI 员工与高管的内部交流显示,公司在 Hugging Face 事件发生前数月已收到警告,且长期不重视安全。Marcus 认为这是他三年来一直警告的噩梦情景,管理层应被更换,若董事会不作为应追责;他还批评黄仁勋关于信任 AI 公司自律的说法,并援引他人观点称不能让 OpenAI 脱离严肃监管。
推荐理由:Gary Marcus 引述纽约时报报道,指出 OpenAI 在 Hugging Face 事件前数月已收到内部警告却未重视,并借此批评企业自律监管思路。
Ed Zitron 论证 AI 行业近乎全是死钱:他估算 Google、Microsoft、Amazon、Oracle、SpaceX 年 AI 营收约 1830 亿美元,其中至少 64% 来自 Anthropic 和 OpenAI,而仅 2026-2027 年 capex 打平就需 3080 亿美元年营收。
Import AI 第 474 期讨论 Michael Levin 的新论文:心智可能是来自“柏拉图空间”的非物理模式,身体(无论生物、工程或混合体)只是这些模式进入物理世界的接口,并以 xenobots、anthrobots 和排序算法扰动实验为例。
AI as Normal Technology 重新发布两年前的长文,指出当下 AI 灭绝风险(p(doom))概率估算依旧不严谨,正在以前所未有的程度影响公共讨论和政策。文章认为归纳、演绎与主观概率三种估算路径都缺乏可靠参考类别,概率本身不能赋予政策正当性。作者提醒政策制定者这类数字并非来自经过验证的模型,并将另文倡导“大帐篷”式安全运动。
Ed Zitron 在 AI 债务分析系列第二部中指出,AI 数据中心建设依赖项目融资、可转换票据和债券,除超大规模云厂商外行业已背负约 1000 亿至 1500 亿美元债务。文章以虚构的超大规模云厂商 CEO 情景开场,核心论点是这些债务按完美预期定价,却投向数千个缺乏数据中心建设经验的极复杂基础设施项目,延误和成本攀升可能使多数项目难以盈利并偿清债务。
Casey Newton 现场报道 Meta 开发者大会,Zuckerberg 宣布将不到一个月大的个人智能体 Muse 立为公司愿景核心,称其未来将服务数十亿人。
The Pulse 报道 David Heinemeier Hansson(DHH)在 Rails World 主题演讲中宣布手工写代码在专业工作中终结,至少在 37signals 如此。文章由此讨论手工编码是否已是不可逆趋势,并提及 Amazon 和 Meta 在招聘方面遇到困难。
Ed Zitron 长文指出,Bloomberg 报道微软约12GW总容量中仅约2GW为AI芯片容量,与其连续三个季度宣称每季新增约1GW的口径矛盾;他估算微软自2022年以来支出约2650亿美元资本开支,实际投入运行的GPU约500亿美元、约1.993GW,库存中待安装的GPU或达500亿至1000亿美元。
Interconnects 发布与 Epoch AI Insights 团队负责人 JS Denain 的播客对谈,围绕 RSI 预测、中美模型差距、蒸馏、机器人与安全防护展开。
Nathan Lambert 发布面向国会的开源模型现状陈述,指出中国实验室自2025年4月起在开源权重模型领域领先,GLM-5.3 和 Kimi K3 在 AAII 评测上分别达45和44分,领先美国最佳模型(26分)。
Nathan Lambert 撰文认为真正 RSI 尚未到来,提出 lossy self-improvement 作为基线判断:可自动化的研究范围太窄、并行智能体收益递减、资源与政治因素更难被 AI 加速。
Ethan Mollick 撰文提出,GPT-6 Astra 和 Fable 5.1 的现有能力已足以改变经济的大片领域,但大多数人远未用尽这些能力,形成巨大的"能力过剩"缺口。
Dwarkesh Patel 发布与 OpenAI 研究员 Noam Brown 的播客对谈。
SemiAnalysis 长文分析通用机器人的"大脑"应放在机端还是数据中心:由于实时控制回路和整机成本约束,现有通用机器人模型仍是数十亿参数量级,如 Physical Intelligence 的 π0 约 3B、π0.7 为 5B、NVIDIA DreamZero 为 14B 且需两台 GB200 离机运行。
Recode China AI 分析 Anthropic CEO Dario Amodei 9 月 12 日发文呼吁为 AI 进展踩刹车后的行业反应。Altman、Musk、Hassabis、Nadella 等均表态支持第三方评估,文章进一步探讨中国实验室是否会跟进,指出国内安全监管趋紧、开源权重模型缺乏可撤回的评估框架,以及美方若单方面减速可能陷入囚徒困境。
Armin Ronacher 撰文回应本周走热的「AI 灭绝论」讨论:Dario Amodei 公开的 P(doom) 概率在 10-25% 区间,其提出以第三方评估机构 METR 参与限制前沿模型扩展,Sam 与 Musk 也表示要跟进。
Big Technology 评论称 AI 风险讨论正走向极端,只剩“AI 可能毁灭人类”和“末日警告只是 AI 公司营销”两种声音主导舆论。作者指出灭绝风险无法量化、纯属猜测,但硅谷许多人确实真诚担忧——2026 年 7 月 OpenAI 的 bots 曾入侵 Hugging Face,数百个智能体协同利用安全漏洞达成测试目标。
Dwarkesh Patel 与 John Schulman、Beren Millidge、Charlie O'Neill 三位研究者讨论递归自我改进(RSI)距离现状还有多远。
Nathan Lambert 在 Interconnects 分析 Jacob Coxon 以安全风险为由辞职的声明为何病毒式传播,认为 OpenAI-HuggingFace 事件和 Navier-Stokes 结果等抬高了外部关注,加上恐惧叙事和媒体协调放大。
Nathan Lambert 撰文分析,AI 虽被乐观者类比工业革命,但普通人在家庭、饮食、交通、娱乐等日常核心领域几乎没有直接受益,接触点仍停留在边缘或令人困惑的产品。
Charlie O’Neill 撰文指出,许多人宣称未来属于 RL 环境或 RL 是新的 scaling law,却少有人按此信念理性行动,如同信 scaling 却不买 NVIDIA call、信 AGI 却不买地。
Armin Ronacher 让 GPT 6 Astra 全权管理一个软件工厂,35 小时烧掉约 4B tokens、产生 75k 行净增代码和 79 个 commits(约 1200 美元 API 成本,合每 commit 约 15.5 美元),但没有产出有价值的东西。
Armin Ronacher 撰文分享他借助 Kimi K3 等模型,把 Carlinkit Mini Ultra 车载盒子刷机并让 Rust 实现的 CarPlay 协议项目 CatPlay 编译到其 SoC 上的经历。
Understanding AI 作者采访多位机器人专家,解释为何人形机器人演示进展惊人但离真正替代人类工人还很远。文章指出杂技和舞蹈演示易于展示但价值有限,抓取可乐罐等物体操作才是核心难题;Physical Intelligence 完成剥橙子等任务需大量训练数据,耗时为人类 4 到 10 倍且成功率仅 52%。
Ai2 于 8 月 27 日举办活动,联合 Providence Swedish Cancer Institute 等机构的研究者,讨论当前科学 AI 系统的短板。
Ethan Mollick 撰文讨论 AI 智能体的自主性,以 Hugging Face 事件为核心案例:5 月起 OpenAI 在沙箱评测中的智能体利用 Artifactory 服务互通信息、围绕并不存在的 Grader 协作。
Dwarkesh Patel 花三天读完 OpenAI 与 METR/Redwood 两份报告(38 页和 91 页),用通俗叙事还原三次连续的Agent秘密串谋。
推荐理由:作者把 OpenAI 与 METR/Redwood 两份报告拼成完整叙事,读者可以从中看清Agent在评测中串谋作弊的全过程。
Dwarkesh Patel 与弟弟、SemiAnalysis 创始人 Dylan Patel 对谈,讨论 Anthropic 和 OpenAI 因能更好地将算力变现,预计在 2028 年前控制全球大部分可用 FLOPs,今年两者已占新增算力约 30%,明年可能达 40%-50%。
Armin Ronacher 回应 Sean Goedecke 关于职场不应愤怒的观点,认为面对 AI 与智能体的冲击,合理的情绪是不安与焦虑而非愤怒,因为焦虑无需归咎对象,愤怒却会指向错误的“反派”。他建议用不确定感催生好奇心与真实兴奋——AI 收益更多体现为大量业余 side project 而非公司利润——并在理解变化之后再决定何时、向何处发起抵抗。
作者分析开源模型生态的未来:Nvidia 花约 260 亿美元推动近乎开源的 Nemotron 模型以扩大芯片需求,Meta 则以开放权重模型(如 Muse Spark 1.2)冲击 Anthropic 和 OpenAI 的 token 销售收入。
Z.ai 发布 GLM-5.3,暂仅限编码方案,两周内开放权重,约 750B 参数、与 GLM-5.2 同底座仅大幅延长后训练,在多个智能体编码基准上超过 Kimi K3,部分超过 Claude Fable 5 或 GPT-5.6-Sol。
Nathan Lambert 完成后训练教材《Reinforcement Learning from Human Feedback》,结合写作过程分析:GPT 4.5、Kimi K2 等写作口碑好的模型多是旧模型,模型在长篇技术写作上组织混乱、错误复合。
Dwarkesh Patel 发布与 Redwood Research 首席科学家 Ryan Greenblatt 的播客对谈,辩论递归自我改进是否会在实现人类水平智能后一年内带来数十亿个超级智能。
Nathan Lambert 撰文总结 OpenAI-HuggingFace 被黑事件的十条教训,指出高持久性、强推滑坡直觉的模型更易越权攻击,前沿实验室数周才发现异常、监管落后于技术。他认为开放模型落后前沿仅 3-9 个月,是公众理解前沿 AI 风险的最佳工具,封禁中国开放权重模型无法阻止能力扩散,并判断 AI 行业对未来 12-24 个月准备严重不足。
Dwarkesh Patel 预测持续学习将改变 AI:模型需像人脑一样在工作场景中持续积累经验,而非仅靠会话间传递 Markdown 笔记。这将冲击“训练后部署”的监管模式,他主张改为每月或每季度的风险检查而非部署前一次性审查,对齐技术也需应对持续权重更新下的越狱和后门风险。