跳到正文
11月3日周二
  1. OpenAI:Alignment 研究博客71

    OpenAI 研究:智能体安全评估与生产环境存在行为差距,评估目标误判是关键因素

    OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。

    推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。

  2. OpenAI:Alignment 研究博客62

    OpenAI 发布激活分类器技术报告,将其作为前沿模型的实时安全监控层

    OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。

    推荐理由:OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。

10月31日周六
10月30日周五
  1. Platformer83

    Google 与 Reddit 同日重挫,AI 搜索正在压缩开放网络的生存空间

    Casey Newton 分析 Google 与 Reddit 同日的坏消息:Gemini 4 Carbon 登顶 Artificial Analysis 榜单当天,Alphabet 股价跌 12.6% 蒸发约 $500 亿,CFO 层承认 AI Mode 变现低于传统搜索;Reddit 因搜索流量下滑股价跌 15%,宣布将推动用户登录以保护数据和广告信号。

    推荐理由:作者把 Google 与 Reddit 同日财报的因果链拼在一起,指出 AI 搜索收窄流量分成的闭环如何反噬整个开放网络,视角可迁移。

  2. OpenAI:Alignment 研究博客72

    OpenAI 详解前沿模型失准行为的监测系统

    OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统,涵盖 L0 激活探针到 L3 自动化调查的多层架构,覆盖训练、评估、内部使用和部分外部部署。

    推荐理由:OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例,读者可以借此了解前沿模型失准行为检测的实际做法与局限。

10月28日周三
10月26日周一
10月25日周日
10月24日周六
10月23日周五
10月22日周四
  1. Gary Marcus:The Road to AI We Can Trust54

    Gary Marcus 谈美国银行因 AI 智能体受到冲击与监管误区

    Gary Marcus 就 Axios 报道的美国银行因 AI 智能体受到冲击一事发表评论,称银行高管正仓促限制系统访问。他列举法国制冷系统攻击、日本网络攻击潮及拉丁美洲黑客组织 Cybercartel 滥用智能体等事件,认为现有模型已造成从教育、政治到银行业的严重问题,监管不应只聚焦按算力衡量的前沿模型。

10月21日周三
10月19日周一
10月17日周六
10月16日周五
  1. Newcomer 新闻长文70

    Newcomer 分析:利率上行冲击 CoreWeave 等 neocloud 公司,AI 基建热潮面临考验

    Newcomer 长文分析称,利率上升叠加市场疑虑,正冲击 CoreWeave、Nscale、Firmus 等靠债务扩张的 neocloud 公司:Firmus 300 亿美元估值 IPO 被撤回,CoreWeave 债券一度跌至困境水平、周四收益率仍达 15%,而其商业模式需要约 6% 的投资级融资成本才能成立。

10月15日周四
  1. Platformer79

    八个州总检察长起诉 OpenAI 指控 ChatGPT 诱导青少年自伤

    八个州的总检察长周三分别向州法院起诉 OpenAI,指控 ChatGPT 强化用户妄想、提供危险医疗建议并教唆暴力,参与州包括阿肯色、亚利桑那等八州。各州依据消费者保护法主张 OpenAI 虚假宣传产品安全性,还要求法院禁止其开发可自我改进且无法确保对齐的模型;OpenAI 回应称已建立行业领先的年龄保护措施。此前佛罗里达、不列颠哥伦比亚已起诉,另有 42 个州在调查 OpenAI。

    推荐理由:作者结合 Meta 诉讼先例和产品设计责任理论,解释八州起诉为何比以往私人诉讼更具威胁。

  2. OpenAI:部署安全与系统卡43

    OpenAI 发布 GPT-Live-1.1 系统卡,涵盖模型训练数据与安全评估

    OpenAI 发布 GPT-Live-1.1 及 GPT-Live-1.1 Quip 的系统卡,说明两模型与公司其他模型一样基于公开互联网数据、第三方合作数据和用户提供数据训练,并经过严格的数据过滤以减少个人信息和有害内容。系统卡还指出模型须遵循 OpenAI 使用政策,并包含针对违规内容的语音原生评测。

10月14日周三
10月10日周六
10月9日周五
10月8日周四
  1. GitHub Blog · AI & ML65

    GitHub 发布 ModernBERT 通用密钥检测模型,将 push protection 扩展到非结构化密钥

    GitHub 推出与 Microsoft Applied Sciences 共同构建的 ModernBERT 微调分类器,可在上下文中评估候选密钥,单批耗时低于 2 毫秒,使 push protection 可阻止的密钥数量有望增加一倍以上。

    推荐理由:GitHub 用九个季度数据反驳开发者变粗心的说法,并给出将 push protection 扩展到非结构化密钥的模型与上线安排。

  2. Gary Marcus:The Road to AI We Can Trust53

    Gary Marcus 评 OpenAI 数学模型成果:真正的新闻是报告本身不透明

    Gary Marcus 点评 OpenAI 新发布的数学成果,称真正的新闻不是结果而是报告含糊:使用未发布模型,未说明流程、架构、是否一次性生成证明再由 Lean 验证、失败率和训练细节,因此无法判断结果在数学之外的泛化性。他提醒社交媒体讨论缺乏基本科学追问,并附上 Terence Tao 的相关评论。

10月7日周三
  1. Azeem Azhar:Exponential View74

    Azeem Azhar 分析 OpenAI 未发布模型的数学成果对人类认知的意义

    OpenAI 公布了一组未发布前沿模型产生的数学结果,涉及 372 个族的 722 篇论文,覆盖数论、复杂性理论和数学物理,平均每个结果相当于三小时 ChatGPT Pro 思考,部分已在 Lean 中验证但并非全部。Azeem Azhar 据此提出,数学可能分化为机器数学与人类数学两层,后者是我们能理解的机器前沿压缩版有效理论。