SemiAnalysis 解析 DeepSeek 与华为的共生关系及 Ascend 950 实测表现
SemiAnalysis 长文分析 DeepSeek 与华为的共生关系:9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库添加 Ascend 支持,华为提供硬件与原生软件栈,DeepSeek 提供工作负载和工程能力。
SemiAnalysis 长文分析 DeepSeek 与华为的共生关系:9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库添加 Ascend 支持,华为提供硬件与原生软件栈,DeepSeek 提供工作负载和工程能力。
Ai2 发布 FairStress 基准,用 300 个双候选决策场景、扩展后超过 1300 万测试用例,测量大模型在招聘、医疗、贷款等决策中除最终选择之外的公平性。测试发现模型在对抗性前缀挑战下更易放弃有利于多数群体的正确选择,平均差距达 6.9 至 9.3 个百分点;对 Olmo 3 训练数据的审计显示少数群体获得更多保护性表述。反事实链式推理是少数能缩小差距且保持准确率的干预方法。
作者在 BU Bench V2.1 的 100 个公开任务上,用 Codex CLI 0.144.6 加 GPT-6 Luna 对比 Browser Harness、Playwright MCP、Chrome DevTools MCP、agent-browser 和 Browser MCP,分数均在噪声范围内持平(56.3 到 61.0)。
推荐理由:作者用统一代理和 BU Bench 100 个任务实测五款浏览器控制工具,给出 token、成本、速度和适用场景的可比数据。
vLLM 团队详解在 AMD Instinct MI355X 上优化 Kimi K3 推理的工程实践。
Mistral 发布其首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规格。最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三个公开基准的预训练零样本模型中五项指标全部排名第一,28M 模型在 GIFT-Eval 和 TIME 上击败约四倍大小的 Chronos-2。
推荐理由:Mistral 发布首个时间序列基础模型系列,正文给出三个基准的成绩、CPU 推理延迟和可微调部署路径,读者可据此评估其落地方式。
Browser Use 官方博客对比 Browser Use 与 Firecrawl 的用例、定价和性能,结论是浏览器自动化选 Browser Use、网页抓取选 Firecrawl,两者也可在同一工作流中组合。
Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。
推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。
Elorian 与 Scale AI 发布视觉直觉推理基准 Humanity’s Sixth Sense,含 522 个问题、覆盖 288 张图片和 234 段共 17.6 小时的视频;人类 pass@1 达 93.1,最高分的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。
Mistral 发布 Mistral Large 4(ML4,昵称 le Chonk)公开预览,1 万亿参数、520 亿激活参数的原生多模态模型,预览 API 已在 Mistral Studio 开放,权重将于本月底发布。
推荐理由:官方给出具体基准数字、开放权重时间表和欧洲自建训练基础设施,读者可据此判断它在开源模型中的位置。
SemiAnalysis 通过隔离各 token 类型的实测方法测算订阅额度,并推出订阅追踪面板,得出 Claude 订阅的 API 等价价值约为 OpenAI 的 5 倍。
GitHub 发布 AI 代码审查离线基准 ReviewBench,语料基于 103.9M 真实 pull request 的分布,含 19 种语言的 219 个公开 PR,数据集、评判标准和 runner 全部公开。
OpenRouter 推出 Model Router Benchmarks 页面,用质量、速度和成本基准对比多家模型路由器,并以顶尖单模型作基线。
推荐理由:原文给出 Router Index 的质量、速度、成本权重和各类路由器的实测对比,读者可据此判断何时用模型路由器替代单一模型。
Browser Use 对比 Browser Use、KERNEL、Browserbase、Steel、Browserless、Anchor 和 Hyperbrowser 七家浏览器基础设施服务商,数据均取自各家定价页和文档,核对于 2026 年 10 月 27 日。
Anthropic 员工 Thariq Shihipar 深入测试 Opus 5.5 和 Fable 5.1 的 effort 设置,分享在 Claude Code 中如何按任务选择档位。
推荐理由:作者结合自测和 Terminal-Bench 3.0 数据给出各 effort 档位的适用场景,读者可以直接套用这套任务分档方法。
SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级报告,实测 77 家 neocloud、市场覆盖扩至 323 家,累计访谈 200 多名终端用户。
Redwood Research 测量 GPT-6-Astra 在提示中加入无意义填充 token 且被要求不作推理时立即作答的表现。
Fireworks AI 发布 Specialized Intelligence Index(SII),汇集开放、闭源和专业模型在真实工作基准上的表现,首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。
Browser Use 与 Browserbase 两大浏览器智能体基础设施平台对比:Browser Use 按量计费无需订阅,browser hour 为 $0.02/h、代理 $5/GB。
SemiAnalysis 在自研 AgentX 智能体推理基准上发布了 Vera Rubin NVL72 的首批实测结果。
Fireworks 发布 DeepSeek-V4.1-Flash 基准评测,在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率,单任务成本 $0.43,约为 Astra 的 1/15。
推荐理由:Fireworks 用自家 DeepSWE 实测数据拆解成本结构,指出缓存命中而非输出才是 agent 开销主因,方法可迁移。
Sierra 开源 Hyper-𝜏-bench(论文名 𝜏^𝜏-bench),一个长程智能体评测,衡量模型不仅能当客服智能体、还能从证据中恢复规格、设计架构并构建可用智能体的能力。
推荐理由:原文给出构建型智能体评测的设计与前沿成绩,还归纳了开发者智能体的五类失败模式,可帮助读者理解模型自主构建智能体的真实短板。
OpenAI 发布 GPT-6 Astra 系统卡,将其在生物与化学领域按 High 能力预防性对待,但未达 Critical 阈值。
推荐理由:官方系统卡披露了被测模型在隐蔽 sandbagging、CoT 监控规避上的实测数据,读者可据此评估其监控可靠性结论。
Lovable 宣布开始用 Fable 5.1 构建应用,内部基准显示其在迭代修复现有代码库任务上比 Fable 5 高出 11.9% 至 17.2%,每任务成本降低 31.4% 至 39.2%。
Ai2 推出 BenchMIRT,一种基于多维项目反应理论(MIRT)的 LLM 基准审计方法,在单个题目层面估计模型能力与题目难度。方法基于 100 个 LLM、16 个基准和超过 34K 道题目的结果训练,未预设各基准的用途,独立恢复出安全与通用推理两个主导维度。
Transluce 发布迄今规模最大的独立心理健康评测,模拟 5 万余次对话、超 100 万条消息,测试 2024 年 5 月至 2026 年 7 月发布的 77 个模型变体,覆盖 OpenAI、Anthropic、Google DeepMind、DeepSeek、Moonshot AI 等。
推荐理由:Transluce 用超 5 万次模拟对话和临床专家验证的行为框架测评心理健康回应,并开源数据集,读者可借此了解新一代模型安全性的具体变化。
Amazon Science 在 ICML 发表论文,提出用 Ising 模型感知 LLM-as-a-judge 评审间的相关性,避免多数投票把共享偏见误当成独立证据。
Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%,均领先 Fable 5 和 Kimi K3,SWE-bench 单个解决任务成本 $0.309,约为 Fable 5($0.808)的三分之一。
推荐理由:Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3,给出逐任务成本数据,并说明 Java 弱项和 oracle 路由的上限含义。
Fireworks AI 用 UC Berkeley 的 CyberGym 基准测试了 DeepSeek V4 Pro 0813、Kimi K3、GPT-5.5 和 Claude Opus 4.8 在真实漏洞攻防上的表现。
Together AI 在 DeepSWE 113 个任务、各 4 次试验共 904 次 rollout 上对比 GLM-5.3 与 Claude Fable 5。
推荐理由:基于 904 次 rollout 的逐任务原始数据对比两款编码模型,读者可以据此决定默认用哪个模型、以及何时值得为 Rust 和序列化任务多花钱。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次试验、共 904 次 rollout,对比 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。
推荐理由:原文用 904 次 rollout 对比两个模型在成本、失败模式和路由策略上的差异,给出了可复用的级联调用方案。
文章分析了阿里巴巴上周五发布的 Qwen3.8-27B,指出 27B 是本地部署的甜点位,可在 24~64GB 内存和 RTX 5090 等消费级 GPU 上运行,满足开发者对数据隐私和固定成本的需求。
Together AI 在 DeepSWE 全部 113 个任务上实测 DeepSeek V4 Pro 0813 与 Claude Fable 5,共 904 次 rollout。
推荐理由:原文以 904 次 rollout 实测两个模型在 DeepSWE 的成本与质量差异,并给出可迁移的级联路由方案及其实测准确率和成本。
OpenAI 在 GPT-5.6 的八月更新中说明 GPT-5.6 Sol 和 GPT-5.6 Luna 的训练数据来源与安全措施,并首次引入面向 18 岁以下用户的 U18 专项评估,涵盖自残、饮食障碍、年龄限制商品和不当性内容等场景。
Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。
推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。
Sayash Kapoor 等人在新论文中设计影子评测,让前沿 AI Agent 获数千美元 API 额度和六天时间,研究两篇未发表论文的主问题,原论文作者明确拒收两篇 Agent 论文。
Browser Use 发布长文分析 Web Agent 基准中判官噪声的影响:同一批已完成运行,仅更换判官模型,最宽松判官报告 83.7%,最严格只有 62.5%,相差 21 分。文章提出让判官作为 Agent 检查整个 workspace、用百分比评分替代 pass/fail、跑三次取中位数等做法,并指出 Opus 5 在低推理档位比高档位低 88 分,调推理强度的影响超过换厂商。
Redwood Research 的 Alexa Pan 撰文指出,Anthropic 在 Mythos Preview 对齐风险更新中使用的可靠性论证存在薄弱环节,当前对齐评估对失对齐只提供弱更新。
METR 博客系统梳理了衡量 AI 智能体能力的各类指标,核心是基于两个支出函数——智能体得分 s_A(x) 与人类得分 s_H(x),其中支出可解释为金钱、token 或时间。
METR 提出"支出视界"指标,用智能体与人类在优化问题上成本收益曲线的交叉点来量化智能体优化能力,并以 NanoGPT 速度跑做实证。
2026 年 AtCoder 世界总决赛上,OpenAI 模型在启发式赛道“彻底击溃”人类选手,Psyho 估算人类至少还需数天才能追上其分数;次日算法赛道 7 小时内解出全部 5 题,包括 12 名人类顶尖选手无一解出的 2 题,主办方为其颁发了两个“人类投降”奖。作者认为这可能是人类最后一次有机会在与顶级 AI 模型的编程竞赛中取胜。
推荐理由:作者采访去年击败 AI 的冠军 Psyho,给出 2026 年 OpenAI 模型在两个赛道的具体表现和冠军本人的差距估算。