跳到正文
10月22日周四
10月20日周二
  1. Ai2 / Allen Institute for AI67

    Ai2 发布 FairStress 基准:测量大模型决策中隐藏的人口公平性不对称

    Ai2 发布 FairStress 基准,用 300 个双候选决策场景、扩展后超过 1300 万测试用例,测量大模型在招聘、医疗、贷款等决策中除最终选择之外的公平性。测试发现模型在对抗性前缀挑战下更易放弃有利于多数群体的正确选择,平均差距达 6.9 至 9.3 个百分点;对 Olmo 3 训练数据的审计显示少数群体获得更多保护性表述。反事实链式推理是少数能缩小差距且保持准确率的干预方法。

  2. Browser Use67

    五款让编码智能体控制浏览器的 MCP 工具实测对比

    作者在 BU Bench V2.1 的 100 个公开任务上,用 Codex CLI 0.144.6 加 GPT-6 Luna 对比 Browser Harness、Playwright MCP、Chrome DevTools MCP、agent-browser 和 Browser MCP,分数均在噪声范围内持平(56.3 到 61.0)。

    推荐理由:作者用统一代理和 BU Bench 100 个任务实测五款浏览器控制工具,给出 token、成本、速度和适用场景的可比数据。

10月16日周五
10月15日周四
  1. Mistral AI62

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数在 GIFT-Eval、TIME 和 fev-bench 排名第一

    Mistral 发布其首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规格。最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三个公开基准的预训练零样本模型中五项指标全部排名第一,28M 模型在 GIFT-Eval 和 TIME 上击败约四倍大小的 Chronos-2。

    推荐理由:Mistral 发布首个时间序列基础模型系列,正文给出三个基准的成绩、CPU 推理延迟和可微调部署路径,读者可据此评估其落地方式。

10月14日周三
  1. Artificial Analysis 完整文章60

    Artificial Analysis 发布 AA-Robotics v0.1 基准,测试语言模型控制机械臂

    Artificial Analysis 发布 AA-Robotics v0.1 研究预览基准,让前沿大模型在 coding agent 框架中直接控制一台 6 轴机械臂完成 8 项桌面任务。

    推荐理由:原文公布了完整分任务得分、用时与成本数据,可据此比较各前沿模型在真实机械臂任务上的表现差距。

10月12日周一
10月6日周二
  1. Mistral AI74

    Mistral 发布 Mistral Large 4 公开预览:1 万亿参数多模态开源权重模型

    Mistral 发布 Mistral Large 4(ML4,昵称 le Chonk)公开预览,1 万亿参数、520 亿激活参数的原生多模态模型,预览 API 已在 Mistral Studio 开放,权重将于本月底发布。

    推荐理由:官方给出具体基准数字、开放权重时间表和欧洲自建训练基础设施,读者可据此判断它在开源模型中的位置。

10月5日周一
10月2日周五
10月1日周四
9月25日周五
9月24日周四
9月23日周三
9月22日周二
9月21日周一
9月15日周二
9月14日周一
9月9日周三
  1. Sierra:Blog63

    Sierra 开源 Hyper-𝜏-bench:评估模型构建智能体的能力

    Sierra 开源 Hyper-𝜏-bench(论文名 𝜏^𝜏-bench),一个长程智能体评测,衡量模型不仅能当客服智能体、还能从证据中恢复规格、设计架构并构建可用智能体的能力。

    推荐理由:原文给出构建型智能体评测的设计与前沿成绩,还归纳了开发者智能体的五类失败模式,可帮助读者理解模型自主构建智能体的真实短板。

9月3日周四
9月1日周二
8月31日周一
  1. Transluce68

    Transluce 发布心理健康危机响应评测:5 万次模拟对话对比 77 个模型

    Transluce 发布迄今规模最大的独立心理健康评测,模拟 5 万余次对话、超 100 万条消息,测试 2024 年 5 月至 2026 年 7 月发布的 77 个模型变体,覆盖 OpenAI、Anthropic、Google DeepMind、DeepSeek、Moonshot AI 等。

    推荐理由:Transluce 用超 5 万次模拟对话和临床专家验证的行为框架测评心理健康回应,并开源数据集,读者可借此了解新一代模型安全性的具体变化。

8月27日周四
8月26日周三
  1. Fireworks AI74

    Fireworks 评测 DeepSeek V4 Pro 0813:SWE-Bench 95.2%,单任务成本约为 Fable 5 的三分之一

    Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测,该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%,均领先 Fable 5 和 Kimi K3,SWE-bench 单个解决任务成本 $0.309,约为 Fable 5($0.808)的三分之一。

    推荐理由:Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3,给出逐任务成本数据,并说明 Java 弱项和 oracle 路由的上限含义。

8月21日周五
8月19日周三
8月17日周一
8月6日周四
  1. Together AI 研究与产品博客71

    Together AI 实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna 的 DeepSWE 成本与编码表现

    Together AI 在 DeepSWE 全部 113 个任务上各跑 4 次实测 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,Luna pass@1 达 67.2%,约为 DeepSeek(53.3%)的 6 倍成本($0.61 对 $0.10)。

    推荐理由:原文用同一跑分实测两款模型的成本与质量取舍,并给出可复用的级联组合方法,适合按技术栈选型的读者参考。

8月5日周三
  1. Browser Use56

    Browser Use 拆解 Web Agent 基准评测中的判官噪声问题

    Browser Use 发布长文分析 Web Agent 基准中判官噪声的影响:同一批已完成运行,仅更换判官模型,最宽松判官报告 83.7%,最严格只有 62.5%,相差 21 分。文章提出让判官作为 Agent 检查整个 workspace、用百分比评分替代 pass/fail、跑三次取中位数等做法,并指出 Opus 5 在低推理档位比高档位低 88 分,调推理强度的影响超过换厂商。

8月1日周六
7月24日周五
7月21日周二
7月11日周六
  1. Timothy B. Lee:Understanding AI82

    OpenAI 模型在 AtCoder 世界总决赛两个赛道全面超越人类顶级选手

    2026 年 AtCoder 世界总决赛上,OpenAI 模型在启发式赛道“彻底击溃”人类选手,Psyho 估算人类至少还需数天才能追上其分数;次日算法赛道 7 小时内解出全部 5 题,包括 12 名人类顶尖选手无一解出的 2 题,主办方为其颁发了两个“人类投降”奖。作者认为这可能是人类最后一次有机会在与顶级 AI 模型的编程竞赛中取胜。

    推荐理由:作者采访去年击败 AI 的冠军 Psyho,给出 2026 年 OpenAI 模型在两个赛道的具体表现和冠军本人的差距估算。