HOPE:考虑专家协作关系的高阶 MoE 大模型剪枝方法
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种针对 MoE 大模型的二阶专家剪枝方法,将专家间的成对交互纳入剪枝决策,弥补一阶方法只独立打分的不足。
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种针对 MoE 大模型的二阶专家剪枝方法,将专家间的成对交互纳入剪枝决策,弥补一阶方法只独立打分的不足。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,同时新增 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。
Google 基于数千工程师、数亿步智能体交互的轨迹数据,分析代码内遗留 TODO(bug/...) 引用对编码智能体的干扰:13% 的读文件会话接触到这类引用,6% 触发后续动作且其中 83% 是开发者未要求的偏航,其中 41% 追向已关闭的工单,57% 造成范围蔓延。
Zyphra 发布 ZYFA,这是面向 AMD MI355X(CDNA4)的因果前向注意力 BF16/FP8 内核,并分析 FP8 attention 在该硬件上的三项瓶颈。
OpenAI 介绍自 GPT-5.6 起在最强模型上训练并部署激活分类器(probes),利用模型内部激活在生成过程中逐 token 实时监测违规行为,可中断响应并阻止工具调用。实验显示 probes 对测试越狱攻击比基于文本的分类器更鲁棒,性能随被监控模型能力提升,并在多个后训练检查点间迁移良好;但依赖标注数据,需针对新基础模型重新训练,只能检测可显式训练的目标。
推荐理由:OpenAI 官方披露激活分类器的架构与训练细节,并给出与文本分类器在越狱鲁棒性上的实测对比,可了解白盒安全监控的落地经验。
Zyphra 提出 Zyphra Hierarchical Attention(ZHA),通过对 KV cache 构建层级树并使用 top-p 路由进行粗到细搜索,实现次二次复杂度的稀疏注意力。
Anthropic 发布开源可验证推理原型 FlashProve,用 zkSNARK 证明模型响应确实来自所声明的权重且不泄露权重。
推荐理由:原文给出 zkSNARK 可验证推理的实测性能和开源代码,读者可以据此评估零知识推理证明距实用还有多远。
OpenAI 官方博文介绍其针对前沿模型的失准行为监测系统,涵盖 L0 激活探针到 L3 自动化调查的多层架构,覆盖训练、评估、内部使用和部分外部部署。
推荐理由:OpenAI 以当事方身份披露监测系统的分层架构、召回数据和真实案例,读者可以借此了解前沿模型失准行为检测的实际做法与局限。
Ai2 与宾夕法尼亚大学合作开发 LitPivot 系统,帮助研究者在早期构思阶段结合文献调整研究方向,将亮相 UIST 2026。系统通过 Asta Paper Finder 检索论文,把想法分为问题、贡献和评估三部分,围绕正在编辑的部分组织文献并给出附引文支持的修改建议。
Zyphra 发布 Zyphra Optimization Engine(ZOE)第二波推理优化技术报告,针对 AMD Instinct MI355X 编写融合 MoE、DSA lightning indexer、CSA top-K 选择和 dual-scope decode 四个自定义 HIP kernel,并集成进其生产 fork 的 vLLM 和 SGLang。
推荐理由:Zyphra 以实测 roofline 为基准公开了 kernel 与端到端数据,长上下文 MoE 推理优化方法对同类工程工作有参考价值。
IBM Research 发布新研究,用开源前沿模型结合 llm-d 分布式推理构建 agent factory,为量子纠错 Relay-BP 解码器优化硬件,在约 26 美元推理成本下实现 52 倍 HLS 加速。
Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers",提出复用预训练 Transformer 权重初始化混合架构的 priming 方法,将预训练成本降低超过 99%,整个流程消耗不到源模型预训练 token 预算的 0.5%。
Zyphra 利用 MoE 路由中的相关性结构,提出相关专家共置(correlated expert placement)与 token shuffling 两种方法,在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。
METR 在 Inspect 评估框架的转录查看器中发现一个客户端 JavaScript 注入漏洞,研究员借助 AI 智能体约 10 分钟即可让智能体任意篡改人类审查者所见内容,包括修改历史动作和拦截 Download 按钮。
OpenRouter 推出 Model Router Benchmarks 页面,用质量、速度和成本基准对比多家模型路由器,并以顶尖单模型作基线。
推荐理由:原文给出 Router Index 的质量、速度、成本权重和各类路由器的实测对比,读者可据此判断何时用模型路由器替代单一模型。
METR 发布一篇技术报告,介绍其部署在 Inspect 审批链上的逐动作 LLM 监控器,用于在评估中拦截可能造成真实世界伤害的 Agent 动作,阈值为 3/10,超阈值即暂停等待人工审查。
SemiAnalysis 通过实测拆解 Intel Panther Lake,分析其 18A 工艺的 PowerVia 背面供电、RibbonFET 四层纳米片和 Foveros-S 封装。
Wiz 发布研究,解析窃密型恶意软件如何通过窃取开发者凭据攻入企业云、代码和 AI 环境。数据显示 Lumma、RedLine 和 Vidar 占已检测事件的 85.7%,AWS 凭据占被盗秘密的 46%,GitHub 约 10%,AI 平台凭据占 5% 且以 OpenAI API key 为主。
推荐理由:文章系统梳理了窃密型恶意软件偷取云、代码与 AI 凭据的具体文件路径和会话劫持手法,可用于对照自查自身开发环境暴露面。
SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告,实测 77 家 neocloud、市场覆盖扩至 323 家,累计访谈 200 多名终端用户。
Anthropic 发布研究结果显示,Claude 在不到四周内优化了 30 多个开源生物深度学习模型,结构预测平均加速约 4 倍、精度损失极小,同精度输出下约加速 1.6 倍,其中 FlashPairformer 自定义内核在 triangle attention 上超领域标准 2.7-2.9 倍。
推荐理由:Anthropic 官方给出 Claude 优化 30 多个生物模型的加速数据、Big 模式规模上限和开源代码,可据此评估 Agent 做推理优化的实际效果。
SemiAnalysis 在自研 AgentX 智能体推理基准上发布了 Vera Rubin NVL72 的首批实测结果。
Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%,均领先 Fable 5 和 Kimi K3,SWE-bench 单个解决任务成本 $0.309,约为 Fable 5($0.808)的三分之一。
推荐理由:Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3,给出逐任务成本数据,并说明 Java 弱项和 oracle 路由的上限含义。
Amazon Science 发布开源基准 SOP-Bench,用领域专家撰写的真实 SOP 搭配可调用工具和标准答案评测 AI 智能体,覆盖 12 个业务领域、超过 2000 个任务,已在 KDD 2026 会议上发表。
Together AI 推出开源智能体推理调度层 ThunderAgent,将每个智能体工作流抽象为可调度的 program,通过暂停低优先级工作流和全局等待队列缓解 KV cache thrashing 并均衡多节点负载。
Berkeley AI Research 提出训练框架 ABBEL,将摘要形式化为自然语言信念状态并对其进行信念评分,解决递归摘要(context compaction)在长程交互中的性能损失问题。
Zyphra 基于 Zyphra Cloud 发布了 Zyphra Inference 在 AMD Instinct MI355X 单节点上的首个端到端推理基准,对比对象包括 AMD MI355X 基线与 Nvidia B200 配置,测试模型为 Kimi K2.6、GLM 5.1 和 DeepSeek-V3.2,指标覆盖 TTFT 与输出吞吐。
Zyphra 发布 Tensor and Sequence Parallelism(TSP),一种将 TP 与 SP 折叠到同一设备维度的并行切分策略,用于训练和推理长上下文 Transformer 模型。
OpenAI 上周在 Codex 中发布 Auto-review 模式,用另一个 Codex 智能体代替人工审批沙箱边界外的操作,Codex 会话人工审批频率比手动模式降低约 200 倍。
推荐理由:原文给出 Auto-review 的拦截率与局限细节,并承认它不防模型 scheming,读者可据此判断该机制的实际边界。
Berkeley AI Research 在博客中介绍两种可大规模识别 LLM 关键交互的算法 SPEX 与 ProxySPEX,核心思路是通过消融(ablation)检测模型行为的变化。
Sayash Kapoor、Arvind Narayanan 等人发布 66 页论文《Towards a Science of AI Agent Reliability》,已上传 arXiv,将可靠性分解为 12 个指标,并在 GAIA 和 TauBench 两个基准上测试了来自 OpenAI、Google、Anthropic 的 14 个模型,共执行 500 次基准运行。
OpenAI 可解释性团队提出用归因(attribution)筛选 SAE 潜变量,在两个案例(涌现失配、不当迎合)中计算正负补全对的归因差(Δ-attribution)选出 top-100 潜变量,再用激活转向和 GPT-5 评分验证因果性。
Anthropic、Decode、EleutherAI、Goodfire、Google DeepMind 的研究者合作发布 The Circuits Research Landscape,复盘 attribution graph 方法的复现与扩展结果。
推荐理由:多家机构共同复盘 attribution graph 复现结果与 transcoder 训练细节,并给出可复用的工程参数和未来研究方向。