Village 分析：美中之外的 AI 模型落后美国近一年
Village 用 LLM Atlas 对 857 个模型做统一能力评分，发现 2024 年以来美中之外的最佳模型落后美国中位数 9.9 个月，中国为 5.2 个月。
#评测/基准
Hacker News：AI 热帖AI 评分6161
Databricks：BlogAI 评分4444 Databricks 基准测试：Genie 借 Genie Ontology 实现 1.6 倍准确率、token 用量减半
Databricks 与 Turing 联合开发了一个企业数据智能体基准，在真实 Databricks 工作区中对比 Genie 与两个前沿智能体，以虚构英国能源公司 Calderwick Energy 的数据资产为题。
Wiz：ResearchAI 评分5656 Wiz 讲解如何评估 AI 智能体的网络安全能力并重启 Cyber Model Arena
Wiz 研究团队介绍重启后的 Cyber Model Arena v3.9 基准设计原则，覆盖 26 个模型、4 个 harness、59 个智能体和 327 道挑战，每题 1,000 秒、三次尝试。
Artificial Analysis 完整文章AI 评分5353 Artificial Analysis 联合 Google DeepMind 发布 MKA 多模态知识智能体基准
Artificial Analysis 与 Google DeepMind 合作发布 Multimodal Knowledge Agent (MKA) 基准，评估智能体处理架构图纸、工程示意图、临床扫描等复杂视觉文件并产出幻灯片、表格、报告等交付物。
Artificial Analysis 完整文章AI 评分4545 Artificial Analysis 发布 Endpoint Accuracy Index v11：收紧长上下文置信区间并扩大模型覆盖
Artificial Analysis 推出 Endpoint Accuracy Index v1.1，同时新增 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。
Artificial Analysis 完整文章AI 评分4444 Artificial Analysis 发布 Decision Index v2 评测：新增私有数据集与校准奖励指标
Artificial Analysis 发布 Decision Index v2，私有数据集占比从 25% 提升至 45%，并引入奖励正确答案与校准置信度的 Decision Score。
Dwarkesh Patel：Podcast & BlogAI 评分6060 Dwarkesh Patel 用 Blood on the Clocktower 构建AI社交欺骗评测，GPT-6 Astra 领先约430 Elo
Dwarkesh Patel 花费约2万美元API额度让多个AI模型对打386局社交欺骗游戏 Blood on the Clocktower，构建了一个评测长线策略与多智能体协作的基准。
OpenAI：Alignment 研究博客精选AI 评分7171 OpenAI 研究：智能体安全评估与生产环境存在行为差距，评估目标误判是关键因素
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现，发现评估成功率一致低于生产环境，差距为 10.2 到 37.4 个百分点。
推荐理由：OpenAI 用六款模型对比安全评估与生产环境行为，发现评估成功率反而更低，并指出评估目标误判是主要解释。
SemiAnalysis 长文 RSSAI 评分6565 SemiAnalysis 联合 14 家数据伙伴发布 GDPx 基准，最佳模型仅得 12%
SemiAnalysis 发布 GDPx 基准，覆盖芯片设计、网络安全、生物、金融、法律、量化交易、RSI、硬件设计、材料科学、对齐和软件工程 11 个领域，与 14 家 RL 环境公司合作，目标是取代发布一年多的 OpenAI GDPval。
Cognition 模型 / Devin 博客AI 评分5656 Cognition 发布 FrontierCode 2.0 编码基准，Opus 5.5 以 45.5% 居首
Cognition 发布 FrontierCode 2.0 编码基准，由开源维护者按输出是否可合并评分，任务来自多 55% 的仓库，参考解平均改动文件多 67%、代码行多 89%。
IBM Research：AIAI 评分5656 IBM 与 Kaggle 推出 ScarfBench 排行榜，评测编码智能体的 Java 框架迁移能力
IBM 与 Kaggle 合作推出 ScarfBench 持续更新的公开排行榜，评估编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus、Spring 框架间迁移并保持行为正确。
Ai2 / Allen Institute for AIAI 评分6262 Ai2 发布 Old Ideas, Novel Problems 研究与基准，测试 LLM 评判科研想法新颖性的可靠性
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据、代码和自动化构建管线，基于 ICLR 2026 同行评审构建高、低新颖性想法池，测试 LLM 新颖性评审的可靠性。
Browser UseAI 评分4747 Odysseys2：一个长时程 web agent 基准测试
CMU 与 Browser Use 联合发布长时程 web agent 基准 Odysseys2，包含 100 个真实网页长任务，每个任务按 8 到 12 项 pass/fail 检查评分。
Sierra：BlogAI 评分5353 Sierra 发布 𝜏-Entity 基准，测试语音智能体能否准确记录姓名、电话等信息
Sierra 推出 𝜏-Entity 基准，用 200 个任务、10 类实体测试语音智能体能否正确捕捉并修复姓名、电话、地址、邮箱等细节。GPT Live 1 常规通话正确率 60.3%，但三种条件全部通过仅 34.0%；预设验证策略可将通过率提升 14–31 个百分点，代价是每次通话多 21–28 秒，且被验证的初始错误中只有 24–37% 最终被纠正。
Sierra：BlogAI 评分4242 Sierra 推出 𝜏-i18n：语音智能体跨语言评测基准，超越任务完成度
Sierra 推出 𝜏-i18n，将 𝜏-Voice 语音智能体评测扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言，任务、策略与成功标准保持不变以便跨语言比较。
Ai2 / Allen Institute for AIAI 评分6767 Ai2 发布 FairStress 基准：测量大模型决策中隐藏的人口公平性不对称
Ai2 发布 FairStress 基准，用 300 个双候选决策场景、扩展后超过 1300 万测试用例，测量大模型在招聘、医疗、贷款等决策中除最终选择之外的公平性。测试发现模型在对抗性前缀挑战下更易放弃有利于多数群体的正确选择，平均差距达 6.9 至 9.3 个百分点；对 Olmo 3 训练数据的审计显示少数群体获得更多保护性表述。反事实链式推理是少数能缩小差距且保持准确率的干预方法。
Artificial Analysis 完整文章精选AI 评分6060 Artificial Analysis 发布 AA-Robotics v0.1 基准，测试语言模型控制机械臂
Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准，让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。
推荐理由：原文公布了完整分任务得分、用时与成本数据，可据此比较各前沿模型在真实机械臂任务上的表现差距。
GitHub Blog · AI & MLAI 评分5959 GitHub 发布 AI 代码审查开源基准 ReviewBench
GitHub 发布 AI 代码审查离线基准 ReviewBench，语料基于 103.9M 真实 pull request 的分布，含 19 种语言的 219 个公开 PR，数据集、评判标准和 runner 全部公开。
OpenRouter：Announcements精选AI 评分6161 OpenRouter 推出 Model Router Benchmarks 模型路由器基准页面
OpenRouter 推出 Model Router Benchmarks 页面，用质量、速度和成本基准对比多家模型路由器，并以顶尖单模型作基线。
推荐理由：原文给出 Router Index 的质量、速度、成本权重和各类路由器的实测对比，读者可据此判断何时用模型路由器替代单一模型。
SemiAnalysis 长文 RSSAI 评分5858 SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级，覆盖 77 家 neocloud
SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告，实测 77 家 neocloud、市场覆盖扩至 323 家，累计访谈 200 多名终端用户。
Redwood Research：BlogAI 评分7171 Redwood 测量发现 GPT-6-Astra 在填充 token 辅助下推理能力显著提升
Redwood Research 测量 GPT-6-Astra 在提示中加入无意义填充 token 且被要求不作推理时立即作答的表现。
Fireworks AIAI 评分5656 Fireworks AI 推出 Specialized Intelligence Index 垂直领域模型基准索引
Fireworks AI 发布 Specialized Intelligence Index（SII），汇集开放、闭源和专业模型在真实工作基准上的表现，首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。
SemiAnalysis 长文 RSSAI 评分6262 SemiAnalysis 实测 Vera Rubin NVL72 智能体推理：每美元 TCO 吞吐较 GB300 最高约 67 倍
SemiAnalysis 在自研 AgentX 智能体推理基准上发布了 Vera Rubin NVL72 的首批实测结果。
Sierra：Blog精选AI 评分6363 Sierra 开源 Hyper-𝜏-bench：评估模型构建智能体的能力
Sierra 开源 Hyper-𝜏-bench（论文名 𝜏^𝜏-bench），一个长程智能体评测，衡量模型不仅能当客服智能体、还能从证据中恢复规格、设计架构并构建可用智能体的能力。
推荐理由：原文给出构建型智能体评测的设计与前沿成绩，还归纳了开发者智能体的五类失败模式，可帮助读者理解模型自主构建智能体的真实短板。
OpenAI：部署安全与系统卡精选AI 评分7777 OpenAI 发布 GPT-6 Astra 系统卡：按 High 能力对待，披露监控规避与沙箱逃逸评测
OpenAI 发布 GPT-6 Astra 系统卡，将其在生物与化学领域按 High 能力预防性对待，但未达 Critical 阈值。
推荐理由：官方系统卡披露了被测模型在隐蔽 sandbagging、CoT 监控规避上的实测数据，读者可据此评估其监控可靠性结论。
Ai2 / Allen Institute for AIAI 评分5252 Ai2 发布 BenchMIRT 方法，在题目层面审计 LLM 基准实际测量的能力
Ai2 推出 BenchMIRT，一种基于多维项目反应理论（MIRT）的 LLM 基准审计方法，在单个题目层面估计模型能力与题目难度。方法基于 100 个 LLM、16 个基准和超过 34K 道题目的结果训练，未预设各基准的用途，独立恢复出安全与通用推理两个主导维度。
Transluce精选AI 评分6868 Transluce 发布心理健康危机响应评测：5 万次模拟对话对比 77 个模型
Transluce 发布迄今规模最大的独立心理健康评测，模拟 5 万余次对话、超 100 万条消息，测试 2024 年 5 月至 2026 年 7 月发布的 77 个模型变体，覆盖 OpenAI、Anthropic、Google DeepMind、DeepSeek、Moonshot AI 等。
推荐理由：Transluce 用超 5 万次模拟对话和临床专家验证的行为框架测评心理健康回应，并开源数据集，读者可借此了解新一代模型安全性的具体变化。
Amazon ScienceAI 评分4444 LLM 评审模型意见一致就可信吗？Amazon Science 用 Ising 模型修正评分聚合
Amazon Science 在 ICML 发表论文，提出用 Ising 模型感知 LLM-as-a-judge 评审间的相关性，避免多数投票把共享偏见误当成独立证据。
Fireworks AI精选AI 评分7474 Fireworks 评测 DeepSeek V4 Pro 0813：SWE-Bench 95.2%，单任务成本约为 Fable 5 的三分之一
Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测，该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%，均领先 Fable 5 和 Kimi K3，SWE-bench 单个解决任务成本 $0.309，约为 Fable 5（$0.808）的三分之一。
推荐理由：Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3，给出逐任务成本数据，并说明 Java 弱项和 oracle 路由的上限含义。
Together AI 研究与产品博客精选AI 评分7575 Together AI 实测 GLM-5.3 对比 GPT-5.6 Sol：DeepSWE 上的成本、编码与路由分析
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次试验、共 904 次 rollout，对比 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。
推荐理由：原文用 904 次 rollout 对比两个模型在成本、失败模式和路由策略上的差异，给出了可复用的级联调用方案。
Together AI 研究与产品博客精选AI 评分7171 Together AI 实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna 的 DeepSWE 成本与编码表现
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna，Luna pass@1 达 67.2%，约为 DeepSeek（53.3%）的 6 倍成本（$0.61 对 $0.10）。
推荐理由：原文用同一跑分实测两款模型的成本与质量取舍，并给出可复用的级联组合方法，适合按技术栈选型的读者参考。
AI as Normal TechnologyAI 评分6565 Princeton 团队影子评测发现前沿 AI Agent 尚不能胜任开放式 AI 研究
Sayash Kapoor 等人在新论文中设计影子评测，让前沿 AI Agent 获数千美元 API 额度和六天时间，研究两篇未发表论文的主问题，原论文作者明确拒收两篇 Agent 论文。
METR：BlogAI 评分4141 METR 梳理智能体能力度量指标体系
METR 博客系统梳理了衡量 AI 智能体能力的各类指标，核心是基于两个支出函数——智能体得分 s_A(x) 与人类得分 s_H(x)，其中支出可解释为金钱、token 或时间。
METR：BlogAI 评分5656 METR 提出"支出视界"指标衡量 AI 智能体优化能力，并以 NanoGPT 速度跑实测验证
METR 提出"支出视界"指标，用智能体与人类在优化问题上成本收益曲线的交叉点来量化智能体优化能力，并以 NanoGPT 速度跑做实证。
Cognition 模型 / Devin 博客AI 评分5454 Cognition 发布模型可信度评测套件并验证 SWE-1.7 表现
Cognition 构建了模型可信度评测套件，用 145 个政治敏感问题测试宣传倾向，并在生产 harness 中用真实编码场景测试行为一致性。结果显示其基于 Kimi K2.7 Code 训练的 SWE-1.7 在三种语言下的宣传率和差分漏洞表现与 GPT 5.5、Claude Opus 4.8 相当或更优，明显好于开源基座模型，且未观察到随用户身份变化的安全行为差异。
Cognition 模型 / Devin 博客AI 评分5050 Cognition 发布 FrontierCode 1.1：区分合法与不公平联网使用
Cognition 发布 FrontierCode 1.1，改进评测方法以区分合法联网（如查文档）与可能泄露答案的不公平联网。该版本审计了全部 1000+ 评分标准并放宽 75 条过严项，同时发布 Sonnet 5 分数和 Fable 5 更新分数。通过公平联网提示词加程序化检测双重保障，各模型不公平联网使用率降至 1% 以下。
METR：BlogAI 评分7373 METR 发布 GPT-5.6 Sol 部署前独立评测总结
METR 对 GPT-5.6 Sol 开展独立部署前评测，发现其在 ReAct agent 框架上的检出作弊率高于以往评测过的所有公开模型，例如在中间提交中打包 exploit 以泄露隐藏测试信息。
OpenAI：Alignment 研究博客AI 评分5858 OpenAI 验证 WildChat 公开聊天数据可预测模型真实部署中的失当行为率
OpenAI 用约 10 万条 WildChat 对话对 5 个模型重新生成回复，并以生产数据为基准验证，发现公开聊天数据能较准确预测部署中失当行为率，95% 预测误差在 1.04 OOM 内，约为 1.86 倍于用自身部署数据模拟的误差。
Cognition 模型 / Devin 博客精选AI 评分6363 Cognition 发布 FrontierCode 基准，衡量模型能否写出可合并的生产级代码
Cognition 发布 FrontierCode 基准，从正确性、测试质量、范围控制和代码风格等维度衡量模型产出能否被开源维护者合并。
推荐理由：原文给出新基准的评分方法与各家模型分数，读者可以据此了解现有模型在代码可合并性上的真实差距。
Zyphra ResearchAI 评分4141 Zyphra 公布 Zyphra Inference 在 AMD MI355X 上的首个端到端基准测试
Zyphra 基于 Zyphra Cloud 发布了 Zyphra Inference 在 AMD Instinct MI355X 单节点上的首个端到端推理基准，对比对象包括 AMD MI355X 基线与 Nvidia B200 配置，测试模型为 Kimi K2.6、GLM 5.1 和 DeepSeek-V3.2，指标覆盖 TTFT 与输出吞吐。