Village 分析:美中之外的 AI 模型落后美国近一年
Village 用 LLM Atlas 对 857 个模型做统一能力评分,发现 2024 年以来美中之外的最佳模型落后美国中位数 9.9 个月,中国为 5.2 个月。
Village 用 LLM Atlas 对 857 个模型做统一能力评分,发现 2024 年以来美中之外的最佳模型落后美国中位数 9.9 个月,中国为 5.2 个月。
Databricks 与 Turing 联合开发了一个企业数据智能体基准,在真实 Databricks 工作区中对比 Genie 与两个前沿智能体,以虚构英国能源公司 Calderwick Energy 的数据资产为题。
OpenRouter 发文解释 LLM 量化原理,并公布 2026 年 10 月 20 日对 1,455 个 provider 端点和 6 个 Qwen3.8 27B 端点的实测结果。
推荐理由:作者实测同一模型不同精度端点的准确率和价格,给出 provider.quantizations 的用法,可帮助读者按精度选更省钱的 API 端点。
Latent Space 作者实测 NaiveAI 的 Naive-N0.5-Flash 编程能力,与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 对比。
The Decoder 报道,Google 在两周测试期后正式开放 Gemini 4 Carbon,可经 Gemini API、Google AI Studio、Android Studio 或 Gemini for Business 使用,输入 2 美元、输出 10 美元每百万 token 的 introductory 价格。
Wiz 研究团队介绍重启后的 Cyber Model Arena v3.9 基准设计原则,覆盖 26 个模型、4 个 harness、59 个智能体和 327 道挑战,每题 1,000 秒、三次尝试。
Anthropic 新模型 Fable 5.2 在 Scale Labs 和 CAIS 的 Remote Labor Index 基准上以 41.3% 的完成率领先,远超一年前基准发布时 Manus 的 2.5%,也约为 Fable 5 七月约 16% 得分的 2.5 倍。
Meta AI 发布其最小、最高效的模型 Muse Ember 1.0,面向复杂推理执行和智能体日常任务如工具调用、编码子任务和长文档解析,短提示定价与 GPT-6 Luna 和 Claude Haiku 5.5 相同,均为输入 $0.10/百万、输出 $0.50/百万 token。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,在 Artificial Analysis(Index 65)、Epoch AI(174)、ARC-AGI、Vals 等多个独立评测登顶,定价 $8/$40 每百万 token,比 Fable 5.1 低 20%。
推荐理由:汇总多家独立评测与实际成本数据,还点出 max 档表现反而下滑和订阅额度限制等发布话术之外的细节。
OpenRouter 用 8 页自造扫描件实测 15 个视觉模型加 Mistral OCR 和 Tesseract,每模型 264 项关键值检查。Claude Opus 5.5 最准,262/264 正确,每千页 $16.42;Mistral OCR 得 258/264,仅 $2.02;Ling 3.0 Flash VL 关闭推理后 254/264,每千页 $0.04。
推荐理由:OpenRouter 用自造的 8 个测试页实测 16 个方案,给出准确率、成本和防幻觉的可行做法,读者可按自家文档场景对号选型。
Latent Space 对 Handshake AI 做首期 AI 数据公司深度访谈,其 AI 训练业务约一年内从上线做到 10 亿美元总年化收入。
百度发布自动化研究系统 ERNIE Evolve,能自主选择研究方向、修改代码并运行实验,只保留通过隐藏评估器和独立审查的改动。
Artificial Analysis 与 Google DeepMind 合作发布 Multimodal Knowledge Agent (MKA) 基准,评估智能体处理架构图纸、工程示意图、临床扫描等复杂视觉文件并产出幻灯片、表格、报告等交付物。
Zyphra 发布 ZONOS3-Mini,一个零样本语音克隆 TTS 模型,采用稀疏 MoE 架构,1 亿活跃参数、8 亿总参数,Apache 2.0 许可,在 112 块 NVIDIA H100 上训练 2.5 天。
推荐理由:原文给出参数规模、端侧延迟数字和 ZTTS2-Eval 排名,开源权重与多端运行时可帮助读者评估实际部署成本。
Pydantic AI 团队比较 2026 年八个 Python agent harness SDK,评选 Pydantic AI Harness 为综合首选,其提供 80+ 能力、30+ 模型提供商、12 个沙箱和 9 个持久执行引擎。
Anthropic 与 Diode Computers 合作,让 Claude Fable 5.2 设计扬声器电话、语音助手中枢和手持电子宠物三款设备,模型完成了原理图、PCB 布局、3D 外壳、固件和物料清单,Diode 直接按其设计文件制造的三个原型均可运行。
推荐理由:官方实测记录了 Claude Fable 5.2 从原理图到固件完成三台设备设计的过程与基准分数,读者可以据此评估模型在硬件工程任务上的实际能力。
Artificial Analysis 评测 Meta 新模型 Muse Ember,其在 Intelligence Index 得 36 分,是达到该分数中每任务成本最低的模型(max 档 $0.14)。
推荐理由:原文给出 Muse Ember 与同价位模型在各基准和每任务成本上的对比数据,读者可据此评估其性价比与适用场景。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,同时新增 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。
Artificial Analysis 发布 Decision Index v2,私有数据集占比从 25% 提升至 45%,并引入奖励正确答案与校准置信度的 Decision Score。
Browser Use 团队对 Decodo、Oxylabs、Floppydata、Roundproxies、Byteful、DataImpulse、Webshare 七家轮换住宅代理做了浏览器 Agent 任务实测,涵盖商品研究、文本提取、表单提交和五分钟闲置后会话恢复。
Dwarkesh Patel 花费约2万美元API额度让多个AI模型对打386局社交欺骗游戏 Blood on the Clocktower,构建了一个评测长线策略与多智能体协作的基准。
SemiAnalysis 发布首个基于 InferenceX/AgentX 的 TPUv7 长上下文多轮智能体推理官方基准结果,覆盖 Muse Spark Open、GLM-5.2、Qwen3.5 397B、Kimi K3 四个模型。
Gradium 团队在 Phonon 开放两周后复盘这次发布,介绍这款在设备本地运行、无需网络和服务器的小型 TTS 模型。
Thinking Machines 发布 Inkling 2 Small,Artificial Analysis Intelligence Index 得分 31,较 Inkling Small 提升 18 分,计划以 Apache 2.0 发布权重,若落地将成为中国以外得分最高的开源权重模型。
推荐理由:Artificial Analysis 给出独立跑分与成本细节,读者可对比 Gemini 3.8 Flash 等模型判断其智能体与编码能力定位。
Artificial Analysis 报道,BOSS 直聘旗下 Nanbeige 发布开源权重推理模型 Nanbeige4.3-33B,在 Artificial Analysis Intelligence Index v5 上得 20 分,与 Qwen3.8 27B (xhigh) 持平。
Moonshot AI 的 Kimi K3.1 Pro 在发布当天即上线 Fireworks,支持 serverless 按 token 计费和专属部署两种方式。
推荐理由:Fireworks 官方给出了 K3.1 Pro 在多个生产级基准上的名次与定价细节,读者可据此评估其在长上下文和 Agent 场景的成本收益。
OpenAI 比较 GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra 和 GPT-6.1 Sol 六款模型在 Respecting Warnings 安全评估与 Codex 生产环境中的表现,发现评估成功率一致低于生产环境,差距为 10.2 到 37.4 个百分点。
推荐理由:OpenAI 用六款模型对比安全评估与生产环境行为,发现评估成功率反而更低,并指出评估目标误判是主要解释。
SemiAnalysis 发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律、量化交易、RSI、硬件设计、材料科学、对齐和软件工程 11 个领域,与 14 家 RL 环境公司合作,目标是取代发布一年多的 OpenAI GDPval。
OpenRouter 通过 11 个隐藏测试编码任务、Claude Code 修 bug 任务和 GPQA Diamond、τ-bench 等跑分,给出三档 Claude 5.5 的选型建议。
推荐理由:OpenRouter 用同一批隐藏测试实测三档 Claude 5.5 的通过率与成本,结论可迁移到日常选型决策。
ChinaTalk 播客用普通话对话中国 AI 讽刺作家咸鱼(笔名「葬AI」),话题包括为何 AI 写作不好笑、他做的让普通人按梗趣味给视频模型排名的网站、把五年计划当作一种 benchmark,以及 AI 内容中的中式英语。咸鱼表示自己 2025 年下半年起完全停用 AI 写作,认为从 2025 年至今主流模型编程更强但写作与原创表达明显退步。两人还就中国和美国哪里炒作更严重存在分歧。
Nathan Lambert 撰文分析 Artificial Analysis 新发布的 Intelligence Index v5,指出该指数更偏向通用智能体协作方向,8 个闭源模型跑赢最强待发布开源模型 Kimi K3.1 Pro。
Pydantic AI 作者在 5 个小应用、8 个模型上跑了 5276 次分级评测,对比 code mode 开关的效果。长任务下成本 -58%、墙钟时间 -51%、成功数提升 16 分;200 项时节省 47%-75% 成本,成功率先从 62-79% 回到 92-100%。
推荐理由:原文用 5276 次受控评测给出 code mode 在长任务上的收益与短板数据,并指出真正节省的是每次请求中的 token 而非往返次数。
Cognition 发布 FrontierCode 2.0 编码基准,由开源维护者按输出是否可合并评分,任务来自多 55% 的仓库,参考解平均改动文件多 67%、代码行多 89%。
IBM 与 Kaggle 合作推出 ScarfBench 持续更新的公开排行榜,评估编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus、Spring 框架间迁移并保持行为正确。
Ai2 发布 Old Ideas, Novel Problems 研究及配套基准、数据、代码和自动化构建管线,基于 ICLR 2026 同行评审构建高、低新颖性想法池,测试 LLM 新颖性评审的可靠性。
CMU 与 Browser Use 联合发布长时程 web agent 基准 Odysseys2,包含 100 个真实网页长任务,每个任务按 8 到 12 项 pass/fail 检查评分。
Browser Use 官方对比其与 Browserless 两大浏览器自动化平台。
Sierra 推出 𝜏-Entity 基准,用 200 个任务、10 类实体测试语音智能体能否正确捕捉并修复姓名、电话、地址、邮箱等细节。GPT Live 1 常规通话正确率 60.3%,但三种条件全部通过仅 34.0%;预设验证策略可将通过率提升 14–31 个百分点,代价是每次通话多 21–28 秒,且被验证的初始错误中只有 24–37% 最终被纠正。
Ai2 发布卫星嵌入模型 OlmoEarth v1.3,读取 Sentinel-1、Sentinel-2 和 Landsat 时间序列,为每个 10 米像素生成 128 维向量,并在 27 项评测中的 20 项上超过 AlphaEarth Foundations 和 Tessera v2。
Sierra 推出 𝜏-i18n,将 𝜏-Voice 语音智能体评测扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,任务、策略与成功标准保持不变以便跨语言比较。