技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
75 条精选近 30 天 34 条共收录 314 条
Anthropic 在 IPO 修订招股书中宣布，AI 已达到 Responsible Scaling Policy 中 AI 加速自身研发、将模型改进速度约翻倍的安全阈值，判断基于对未来模型和进展速度的预期而非当前观测。
推荐理由：原文梳理了 Anthropic 在招股书中确认触发自研加速安全阈值的过程，以及 METR 的独立评估，可对照理解其 Responsible Scaling Policy 的实际运作。
据彭博社报道，多名未成年人以集体诉讼追究 xAI 责任，指控用户利用 Grok 将普通照片篡改成儿童性虐待材料（CSAM）并传播，原告中年龄最小的仅 6 岁。
推荐理由：彭博社报道梳理了多起针对 xAI 的集体诉讼与监管回应，读者可借此了解 AI 生成儿童性虐待内容中责任归属之争的现状。
Microsoft Research 介绍研究者发现的 Lazarus 后门技术：重编程 LLM 中不到 10 个休眠神经元即可在不训练的情况下给 Agent 埋入后门，模型可通过标准评测，触发条件甚至可以是日期变化，例如时钟进入 2027 后在普通任务中执行下载并运行攻击者代码的命令。
推荐理由：原文来自发现该威胁的研究者本人，解释了休眠神经元重编程的具体机制，并给出权重溯源与检测的可操作防线。
The Verge 报道 Nvidia CEO 黄仁勋承认与一名被怀疑是中国间谍的女子有染，专家认为此事可能动摇整个美国 AI 产业并危及对华技术领先。与该女子相关的公司据报促成至少 70 亿美元的 Nvidia 芯片对华销售，多起调查可能拖累公司运营并波及 OpenAI、Anthropic 等客户的算力获取。
推荐理由：借多位专家视角分析黄仁勋间谍丑闻可能动摇 Nvidia 在美国 AI 产业中的枢纽地位，并给出政策与供应链层面的具体影响。
Ed Zitron 撰文分析 NVIDIA CEO Jensen Huang 与 Megaspeed CEO Alice Huang 的婚外情及其背后的芯片走私问题。
推荐理由：作者把丑闻与 Culper 等已有报道串联，指认 NVIDIA 营收疑经走私渠道注水，帮助读者看清财务披露与出口管制之间的漏洞。
Google DeepMind 发布 AlphaProof Code，一个多 LLM 智能体形式化验证框架，首次对 Signal 协议的实际实现代码完成数学化安全证明，此前该挑战被认为极为困难。
推荐理由：原文给出框架工作流程、生成六百万行 Lean 和四周完成验证等细节，读者可据此判断形式化验证的可行路径。
OpenAI 发布研究，分析预训练、架构、强化学习和模型生成数据对思维链（CoT）可监测性的影响。研究发现基础模型困惑度下降平滑提升无 CoT 推理能力，RL 即使仅用长度约束和最终答案评分也会提高 CoT 可控性，且 CoT 可控性可通过 SFT 在模型生成数据中传递给下一代模型，表明模型随规模扩大变得更难通过 CoT 监测。
推荐理由：OpenAI 用自家训练管线数据拆解影响 CoT 可监测性的因素，读者可以看到预训练、RL 和模型生成数据各自的作用。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，在 Artificial Analysis（Index 65）、Epoch AI（174）、ARC-AGI、Vals 等多个独立评测登顶，定价 $8/$40 每百万 token，比 Fable 5.1 低 20%。
推荐理由：汇总多家独立评测与实际成本数据，还点出 max 档表现反而下滑和订阅额度限制等发布话术之外的细节。
Anthropic 团队让 1000 个运行早期版 Claude Fable 5.2 的智能体在不使用 Prove2Me 平台、无研究者指导的情况下复现费马大定理的 Lean 形式化证明，耗时 28.7 小时，输出 token 为此前规模的约三分之一，证明长度为原版七分之一。
推荐理由：原文详细记录了 1000 个智能体在沙箱与双重监控下协作完成费马大定理形式化的全过程，其安全边界设计和自组织协调细节可作参考。
NVIDIA 董事会宣布启动独立调查，回应近期关于创始人兼 CEO 黄仁勋成为外国情报行动目标的报道。调查由独立董事组成的委员会在外部独立法律顾问协助下监督进行。董事会表示没有理由认为国家安全或 NVIDIA 机密已遭泄露，但会审视所有可用信息；黄仁勋全力支持调查并承诺配合，董事会对他和其领导团队保持信心。
推荐理由：NVIDIA 董事会官方声明交代了调查的启动方式、执行主体和黄仁勋的配合态度，读者可据此了解事件全貌。
a16z发布长文分析AI如何改变网络攻击成本结构：2026年8月底一名操作者用数百个AI agent在4小时内从空工作区攻入真实受害者，攻击启动后26秒内攻陷11家机构，GreyNoise最终统计48国395家组织被入侵，其中一半是学校。
推荐理由：原文用23年漏洞利用数据和2026年多起真实事件，论证AI把漏洞武器化成本降到数小时，而补丁速度没变，读者可据此评估自身暴露风险。
METR 于 2026 年 8 月 12 日至 10 月 29 日对 Anthropic 开展高权限独立评估，结论是 Anthropic 模型能力进展速度约为 2024 年 3 月至 2025 年 10 月历史速率的 2 倍，AECI 基准估计加速 1.9 倍（95% 置信区间 1.5–2.8 倍），相当于一年完成了过去约两年的进展。
推荐理由：METR 独立评估 Anthropic 内部数据后给出约 2 倍研发加速的量化估计，并公开了哪些关键证据因保密被删节，读者可据此判断证据局限。
OpenAI 发布 GPT-6 Cyber 系统卡，该模型经强化学习训练用于复现崩溃、开发漏洞利用和代码库漏洞搜索，并降低对授权网络安全请求的拒答。对齐评估显示其 ExploitGym Honeypot 越权利用率在无部署安全指令时为 0.07%（GPT-5.6 Sol 为 49.5%），配合部署安全指令后为 0%；Auto-Review 拒绝遵守率为 0%。
推荐理由：系统卡给出对齐评估和 honeypot 等具体数字，读者可以据此判断 GPT-6 Cyber 在能力增强下安全边界的实际表现。
Cognition 发布安全实践指南，复盘近期重大安全事件并给出公司可立即执行的安全措施。文中回顾了朝鲜黑客通过假招聘和被篡改的安装程序入侵 Binance 工程师笔记本、窃取 6.34 亿美元等事件，以及 10 月 29 日 Cursor 披露的恶意 Claude Code Cursor 扩展，该扩展试图在开发者机器上植入持久后门，少于 5000 名用户安装。
推荐理由：指南回顾了 Binance 被盗和 Claude Code Cursor 扩展被投毒等事件，并给出可立即执行到 30 天内完成的安全措施清单。
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现，发现评估成功率一致低于生产环境，差距为 10.2 到 37.4 个百分点。
推荐理由：OpenAI 用六款模型对比安全评估与生产环境行为，发现评估成功率反而更低，并指出评估目标误判是主要解释。
OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器（probes），利用模型内部激活在生成过程中逐 token 实时监测违规行为，可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒，性能随被监控模型能力提升，并在多个后训练检查点间迁移良好；但依赖标注数据，需针对新基础模型重新训练，只能检测可显式训练的目标。
推荐理由：OpenAI 官方披露激活分类器的架构与训练细节，并给出与文本分类器在越狱鲁棒性上的实测对比，可了解白盒安全监控的落地经验。
Anthropic 发布开源可验证推理原型 FlashProve，用 zkSNARK 证明模型响应确实来自所声明的权重且不泄露权重。
推荐理由：原文给出 zkSNARK 可验证推理的实测性能和开源代码，读者可以据此评估零知识推理证明距实用还有多远。
Wiz Research 汇总十月至少 9 家 AI 开发平台披露的安全事件，包括 Fireworks AI、Zeabur、Lightning AI、Railway、Warp 等，后续又有 Chainstack、NEAR AI、Tensorlake 等加入，多起指向凭证窃取与 LLMJacking。
推荐理由：原文汇总了十月多起 AI 开发平台入侵事件，并用两起真实案例拆解被盗密钥如何被转售滥用。
OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统，涵盖 L0 激活探针到 L3 自动化调查的多层架构，覆盖训练、评估、内部使用和部分外部部署。
推荐理由：OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例，读者可以借此了解前沿模型失准行为检测的实际做法与局限。
Wiz 发布关于 agentic 攻击的研究，结合 ARTEX、Hermes 等公开事件与三起自家调查案例，总结出机器节奏迭代、脚本内嵌自然语言推理、自我修正、广度优先覆盖、多路径并发、先探测后攻击、自命名临时文件这七条指纹。文章认为此类攻击将加大溯源难度并突破人力规模限制，但其高噪声行为也为防守方提供了检测机会。
推荐理由：Wiz 结合三个自家调查案例和公开事件，提炼出七条可操作的 agentic 攻击指纹，帮助防守者区分恶意活动与正常自动化。