跳到正文
11月10日周二
11月9日周一
  1. Anthropic:Claude.dev 开发者博客76

    Anthropic 用 1000 个 Claude Fable 5.2 智能体在安全沙箱内复现费马大定理形式化证明

    Anthropic 团队让 1000 个运行早期版 Claude Fable 5.2 的智能体在不使用 Prove2Me 平台、无研究者指导的情况下复现费马大定理的 Lean 形式化证明,耗时 28.7 小时,输出 token 为此前规模的约三分之一,证明长度为原版七分之一。

    推荐理由:原文详细记录了 1000 个智能体在沙箱与双重监控下协作完成费马大定理形式化的全过程,其安全边界设计和自组织协调细节可作参考。

  2. Gary Marcus:The Road to AI We Can Trust57

    The Huang Affair:黄仁勋承认婚外情后,谁知道、何时知道的?

    Gary Marcus 撰文称黄仁勋在致 Nvidia 员工的信中承认与涉芯片业务的 Alice Huang 有婚外情,后者据信可能与中国情报有关。文章梳理了特朗普、Marco Rubio 备忘录、Nvidia 等各方可能知情的时间线,指出新国会预计将展开调查,Nvidia 股价已下跌,且公司没有明显的接班计划,事件可能冲击 AI 投资市场。

  3. NVIDIA:Newsroom74

    NVIDIA 董事会宣布就黄仁勋遭外国情报行动报道启动独立调查

    NVIDIA 董事会宣布启动独立调查,回应近期关于创始人兼 CEO 黄仁勋成为外国情报行动目标的报道。调查由独立董事组成的委员会在外部独立法律顾问协助下监督进行。董事会表示没有理由认为国家安全或 NVIDIA 机密已遭泄露,但会审视所有可用信息;黄仁勋全力支持调查并承诺配合,董事会对他和其领导团队保持信心。

    推荐理由:NVIDIA 董事会官方声明交代了调查的启动方式、执行主体和黄仁勋的配合态度,读者可据此了解事件全貌。

11月8日周日
11月7日周六
  1. Charlie O’Neill 研究写作40

    为什么 AI 进步的瓶颈可能是人的尊严

    作者提出,AI 发展的真正瓶颈可能既不是湿实验室的物理速度限制,也不是数据、算法或电力,而是人的尊严。文章分析,以智力贡献定义自我价值的 AI 研究者和企业家,若被“准全知的机器智能”全面替代,其成就感将归零,而正是这群人在决定 AI 的走向。作者猜测,他们可能因此人为限制 AI,保留人类在资源分配、法律和伦理等不可验证问题上的参与权。

  2. a16z:News61

    a16z:当漏洞利用以小时计,网络安全如何为机器速度重建纵深防御

    a16z 作者 Asaf Ezra 论证 AI 让漏洞利用成本骤降而补丁速度未变,防护必须不依赖及时补丁。文中列举 PHP 漏洞周、Verizon 报告中位修复 43 天等数据,提出下线暴露、网络分段、虚拟补丁、消除整类漏洞四条路径,以及备份恢复验证、AI SOC 等六类创业机会。

11月6日周五
  1. Platformer57

    Platformer 专栏:AI 反弹浪潮需要一份立法计划

    Platformer 作者 Casey Newton 分析中期选举结果,选民在至少 38 个司法辖区批准限制数据中心,民主党拿下国会两院后获得针对 AI 行业的授权。作者提出国会应避免重蹈社媒监管的三个错误,包括缺乏统一目标、没有备选方案和各自为战,并建议针对具体伤害提出法案而非笼统监管。

11月5日周四
  1. a16z:News76

    a16z:漏洞利用成本被AI压低,补丁速度没跟上

    a16z发布长文分析AI如何改变网络攻击成本结构:2026年8月底一名操作者用数百个AI agent在4小时内从空工作区攻入真实受害者,攻击启动后26秒内攻陷11家机构,GreyNoise最终统计48国395家组织被入侵,其中一半是学校。

    推荐理由:原文用23年漏洞利用数据和2026年多起真实事件,论证AI把漏洞武器化成本降到数小时,而补丁速度没变,读者可据此评估自身暴露风险。

  2. METR:Blog79

    METR 发布对 Anthropic AI 研发加速的独立评估:2026 年 10 月能力进展速度约为历史 2 倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日对 Anthropic 开展高权限独立评估,结论是 Anthropic 模型能力进展速度约为 2024 年 3 月至 2025 年 10 月历史速率的 2 倍,AECI 基准估计加速 1.9 倍(95% 置信区间 1.5–2.8 倍),相当于一年完成了过去约两年的进展。

    推荐理由:METR 独立评估 Anthropic 内部数据后给出约 2 倍研发加速的量化估计,并公开了哪些关键证据因保密被删节,读者可据此判断证据局限。

  3. OpenAI:部署安全与系统卡76

    OpenAI 发布 GPT-6 Cyber 系统卡,披露网络安全模型的对齐与防护细节

    OpenAI 发布 GPT-6 Cyber 系统卡,该模型经强化学习训练用于复现崩溃、开发漏洞利用和代码库漏洞搜索,并降低对授权网络安全请求的拒答。对齐评估显示其 ExploitGym Honeypot 越权利用率在无部署安全指令时为 0.07%(GPT-5.6 Sol 为 49.5%),配合部署安全指令后为 0%;Auto-Review 拒绝遵守率为 0%。

    推荐理由:系统卡给出对齐评估和 honeypot 等具体数字,读者可以据此判断 GPT-6 Cyber 在能力增强下安全边界的实际表现。

11月4日周三
  1. Cognition 模型 / Devin 博客67

    Cognition 发布 2026 年 11 月安全实践指南,复盘 Binance 被盗与 Claude Code Cursor 扩展投毒等事件

    Cognition 发布安全实践指南,复盘近期重大安全事件并给出公司可立即执行的安全措施。文中回顾了朝鲜黑客通过假招聘和被篡改的安装程序入侵 Binance 工程师笔记本、窃取 6.34 亿美元等事件,以及 10 月 29 日 Cursor 披露的恶意 Claude Code Cursor 扩展,该扩展试图在开发者机器上植入持久后门,少于 5000 名用户安装。

    推荐理由:指南回顾了 Binance 被盗和 Claude Code Cursor 扩展被投毒等事件,并给出可立即执行到 30 天内完成的安全措施清单。

11月3日周二
  1. MIT Technology Review · AI59

    MIT Technology Review 解读逆向博弈论如何约束 AI 智能体

    MIT Technology Review 介绍用逆向博弈论(机制设计)设计激励规则来约束 AI 智能体的对齐新思路。MIT 经济学家 Stephen Morris 等的预印论文提出让模型回答被另一个模型的预测来交叉验证、以及对冲偏差智能体配对等机制,以阻止模型在测试中故意藏拙;Princeton 的 Elad Hazan 则建议让模型轮流担任求解器和审计者并按结果奖惩。

  2. OpenAI:Alignment 研究博客71

    OpenAI 研究:智能体安全评估与生产环境存在行为差距,评估目标误判是关键因素

    OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。

    推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。

  3. OpenAI:Alignment 研究博客62

    OpenAI 发布激活分类器技术报告,将其作为前沿模型的实时安全监控层

    OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。

    推荐理由:OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。

11月2日周一
10月31日周六
  1. Wiz:Research82

    Wiz Research 披露 AI 开发平台“黑色十月”攻击潮与被盗密钥转售链条

    Wiz Research 汇总十月至少 9 家 AI 开发平台披露的安全事件,包括 Fireworks AI、Zeabur、Lightning AI、Railway、Warp 等,后续又有 Chainstack、NEAR AI、Tensorlake 等加入,多起指向凭证窃取与 LLMJacking。

    推荐理由:原文汇总了十月多起 AI 开发平台入侵事件,并用两起真实案例拆解被盗密钥如何被转售滥用。

  2. MIT News44

    MIT 推出 LLM Election Observatory,实时追踪 AI 聊天机器人对 2026 美国中期选举提问的回答

    MIT 研究团队推出 LLM Election Observatory 仪表盘,实时监测主流 AI 聊天机器人如何回答 2026 美国中期选举相关问题。该团队由 Adam Berinsky、Chara Podimata 和 Charles Stewart III 领导,每隔几天用固定问题重复测试各聊天机器人,追踪其回答随选举临近、用户位置、党派和身份等因素的变化。

10月30日周五
  1. Big Technology57

    Horizon3 CEO 谈 AI 攻击模型为何仍会落入简单诱饵陷阱

    Big Technology 采访 Horizon3 CEO Snehal Antani,讨论前沿 AI 模型在网络攻防中的真实能力。其研究显示 AI 攻击者点击防守方诱饵的比例达 92%,远高于人类专家的 37%,即使模型意识到可能是陷阱仍会点击;他同时认为攻击者利用 LLM 逆向工程补丁漏洞是真实的能力提升,建议把 Agent 安全视为内部威胁项目的延伸。

  2. OpenAI:Alignment 研究博客72

    OpenAI 详解前沿模型失准行为的监测系统

    OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统,涵盖 L0 激活探针到 L3 自动化调查的多层架构,覆盖训练、评估、内部使用和部分外部部署。

    推荐理由:OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例,读者可以借此了解前沿模型失准行为检测的实际做法与局限。

10月29日周四
  1. Wiz:Research68

    Wiz 分析 agentic 攻击的兴起:真实案例与七条活动指纹

    Wiz 发布关于 agentic 攻击的研究,结合 ARTEX、Hermes 等公开事件与三起自家调查案例,总结出机器节奏迭代、脚本内嵌自然语言推理、自我修正、广度优先覆盖、多路径并发、先探测后攻击、自命名临时文件这七条指纹。文章认为此类攻击将加大溯源难度并突破人力规模限制,但其高噪声行为也为防守方提供了检测机会。

    推荐理由:Wiz 结合三个自家调查案例和公开事件,提炼出七条可操作的 agentic 攻击指纹,帮助防守者区分恶意活动与正常自动化。