LangChain 解答 Agent 评测的常见问题:从轨迹分析到四类评估器
LangChain 团队基于 LangSmith 实践解答 Agent 评测的常见问题,建议先读 trace 选定行为、用 10-20 个例子建数据集并跑基线。文章区分离线与在线评测,介绍代码评估器、LLM-as-a-judge、人工评审和成对比较四类评估器,并说明 Harbor 开源评测框架与 Terminal-Bench 的容器化基准用法。
LangChain 团队基于 LangSmith 实践解答 Agent 评测的常见问题,建议先读 trace 选定行为、用 10-20 个例子建数据集并跑基线。文章区分离线与在线评测,介绍代码评估器、LLM-as-a-judge、人工评审和成对比较四类评估器,并说明 Harbor 开源评测框架与 Terminal-Bench 的容器化基准用法。
Apple 机器学习研究发布教程,介绍用最新版 MLX 在 Mac Studio 上本地运行 Muse Spark Open(816B 参数,MoE)、Mistral Medium 3.5 和 Qwen 3.8。
推荐理由:Apple 官方给出多台 Mac Studio 跑大模型的并行方案与实测数据,读者可对照评估本地推理的可行配置。
Browser Use 官方博客对比 Browser Use 与 Firecrawl 的用例、定价和性能,结论是浏览器自动化选 Browser Use、网页抓取选 Firecrawl,两者也可在同一工作流中组合。
Pragmatic Engineer 播客邀请 Uber 杰出工程师 Uday Kiran Medisetty 深入介绍 Uber 面向 AI agent 的开发者基础设施。
vLLM 官方博客发布训练-推理一致性方案:训练前向直接调用 vLLM 推理内核并改造为逐位一致,在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0,rollout 吞吐达高性能基线的 91.3%,而基线 KL 从 2e-3 升至 29.9 且奖励回落。
推荐理由:原文给出训练与推理逐位一致的完整方案和开源技能,读者可据此在新模型上复现真正的 on-policy RL。
vLLM 通过 PR #52228 为 Adaptive Verification(AV)新增在线拟合接受估计器,使缺少置信度头的 draft 模型(如 EAGLE、MTP、DFlash)也能使用该功能,通过 enable_adaptive_verification 开启。
LangChain 介绍如何用 Deep Agents CLI 将文档内联代码示例迁移为可在 CI 中测试的独立文件,解决示例随 API 演进失效的问题。
GitHub 介绍其用于 generic secret detection 的上下文感知分类器:采用两阶段流水线,先用 regex 高召回生成候选,再用微调的 ModernBERT 结合文件路径、变量名和周边代码区分真实凭据与占位符、test fixture 等 hard negatives。
Pragmatic Engineer 授权转载 Sam Newman 新书《Building Resilient Distributed Systems》两章节选,讲解灾难恢复的 RPO/RTO 目标及 backup-and-restore、pilot light、warm failover、multisite active-active 四种模式。
Anthropic 详细介绍为智能体编码自建的版本控制系统 Scion,并称已在五个月内将 monorepo 完全从 git 迁移。2026 年 5 月 Anthropic 每天约合并 2,500 次代码变更,9 月已超过 30,000 次;主分支历史近 100 GB,每日约 2,500 万次代码 checkout。
推荐理由:Anthropic 用自研版本控制系统的实测数据,展示了智能体规模下代码基础设施的瓶颈和可借鉴的改造思路。
GitHub Blog 在 Copilot app for Beginners 系列中讲解四种为项目定制 Copilot 的方法:在 .github/copilot-instructions.md 中写自定义指令、用 .github/skills 打包可重复流程为 agent skills、在 .github/agents 定义面向更大任务的 custom agents。
IBM Research 讲解分布式推理如何在 vLLM、SGLang 等模型服务引擎之上协调集群级 LLM 推理流量。
vLLM 推出双向 KV cache 传输功能,让 prefill 和 decode 节点在多轮对话间复用已计算的上下文,避免重复 prefill 计算,从而改善 TTFT 并提升加速器利用率。
vLLM-Omni 用 torchada 让 Sand AI 的 MAGI-2 Preview(114B 总参数、每 token 约 6B 激活的音视频 MoE DiT)在摩尔线程 MTT S5000 上原生运行,仅需少量平台级改动,CUDA 版 Triton kernel 可直接复用。
Ai2 AI 基础设施团队介绍其将基于优先级的调度器替换为包含 GPU 时间预算、层级化 fair-share 分配和时间切片契约的系统,以在保持集群满占用的同时优先支持高影响力研究。
Comfy 博客介绍如何把 FastVideo 的 FastH3 V2 检查点优化到在单张 RTX 5090(32GB 显存)上实时生成 448×256 的 15 秒视频。
Serve AI 用 LiveKit Agent Simulations 验证并将其客服语音智能体从 Retell 的 224 节点流程图迁移为单提示词架构。团队用约 100 条真实生产通话生成模拟场景,经 10-15 轮迭代达到 98% 通过率、中位轮次延迟 1.3 秒(上限 1.5 秒),首个账户迁移仅一周且无需回滚。
Anthropic 发布教程,基于 Claude Managed Agents(beta)给出一个每日简报参考实现,按 cron 计划读取 Slack 频道和 GitHub PR,用书签追踪上次运行以来的变化并把摘要发布到 Slack。
推荐理由:Anthropic 官方拆解定时智能体自动化的六个设计规则,如书签续读、失败如实上报和花费上限,可直接迁移到自己的自动化搭建中。
Google 介绍 Cloud Run 的自定义 URL 功能:部署应用时可免费认领易于记忆的全球可用子域名(如 my-cool-app.cloud.run),无需负载均衡器和 DNS 配置。Cloud Run 会自动处理 SSL/TLS 证书和全球路由,一条命令即可将代码变成可分享的在线应用,无需管理基础设施。
Browser Use 官方教程介绍如何用 Python 构建四阶段求职自动化工作流:用 Browser Use 搜索职位、用 OpenAI gpt-5-mini 结合简历筛选、自动填写并提交申请、用 CSV 记录结果。
推荐理由:原文给出完整可复现的分阶段脚本和人工审核设计,适合想用浏览器智能体自动化求职流程的读者参考。
OpenRouter 介绍了其基于 Ori 构建的 AI 销售智能体 Rasp 如何为自家 5 人销售团队接管大部分文书工作,每月节省约 600 小时。Rasp 自动发送 93% 的首次触达邮件,许多线索在 60 秒内收到回复,成交周期缩短 34%,每位销售每天可多打约 2 个电话;成交率同期提升 2.6 倍,但文中注明定价变化和市场因素亦有影响。
Inferact 与 vLLM 团队在 DeepSeek-V4.1-Flash 发布三周后,将 SemiAnalysis AgentX 基准性能较 day-0 提升约 5 倍,低并发提速 1.9 倍。
Addy Osmani 发布 Claude Code 云端会话实操指南,实测在同一仓库 16 秒内并行启动三个会话,分别修复 flaky 测试、重写过期文档和改造 JSON logger,三会话分别耗时 61、65、72 秒,全部 87 秒内完成。
推荐理由:作者用四个真实云会话实测并行修复、文档校对等任务,给出适用场景、隔离机制和常见坑,方法可直接迁移。
Armin Ronacher 介绍 Pi 1.0 通过 Codemode 加入 MCP 支持,Codemode 在 harness 侧的 WASM 沙箱(QuickJS)中运行,无网络、无文件系统,可并发组合工具调用、跨会话暂存状态,并暴露图像生成与 Jev 分类器等内部 API。
Browser Use 发布文章对比六个主流 AI Agent 框架:Mastra、LangGraph、OpenAI Agents SDK、CrewAI、Pydantic AI 和 Vercel AI SDK,从应用匹配、工作流控制、开发体验和成本四个维度比较各自特点与适用场景。
LiveKit 博客从四个问题出发,对比 Retell、Vapi 与 LiveKit 三个语音 AI 智能体平台的差异:上线后由谁迭代、超出默认能力怎么办、是否支持电话之外的渠道,以及规模化成本。
Pydantic AI 发文分析用 Claude Agent SDK 构建应用时的控制权问题:该 SDK 会捆绑并启动 Claude Code 子进程,其系统提示词、工具、权限和 agent loop 不在 SDK 契约内,升级 SDK 可能替换捆绑的 Claude Code 二进制并改变已部署 agent 的行为。
OpenRouter 发布文章对比 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具,并介绍其 beta 版 openrouter:shell 与 openrouter:bash 工具,可为 Responses 和 Messages API 上的任意模型运行命令。
推荐理由:OpenRouter 结合自家工具对比四家服务端代码执行沙箱的能力、限制与成本,读者可以据此判断自托管与托管方案的选择边界。
OpenRouter 发布教程,讲解客服机器人如何用 cheap-first 路由把常见 FAQ 交给便宜模型、对困难请求升级到更强模型。文章比较静态规则、分类器分诊和答案检查三种模式,指出错误回退由 OpenRouter 的 models 数组处理,而质量升级检查需应用自己实现,并给出 expected_cost 公式和升级率、全轮延迟等评估指标。
推荐理由:原文给出三种低成本优先路由模式及成本公式和上线前评估指标,读者可以据此规划客服机器人的降本方案。
OpenRouter 发布官方解析,把多模型编排拆成工作流编排、模型路由和提供商路由三层,指出 LangGraph 与 CrewAI 只覆盖第一层,OpenRouter 的 models 参数负责错误驱动的模型回退和提供商选择。
OpenRouter 发文对比 LangChain、CrewAI、OpenAI Agents SDK、Claude Agent SDK、Microsoft Agent Framework 和 Google ADK 如何定义工具 Schema 并在 OpenAI、Anthropic、Google 三种不互通的 wire 格式之间做翻译。
推荐理由:原文逐家拆解六个 Agent 框架的工具调用格式翻译位置,并说明 OpenRouter 在 API 层归一化后换模型只改一行。
Comfy 官方博客复盘 AI 动画艺术家 852話 Hakoniwa 用 Comfy Agent 创作的首部动画短片 YUI,讲述女孩发现第四堵墙的 4:20 故事。
Anthropic 开发者博客发布 Claude Code mods 入门教程。mod 是运行在 Claude Code 会话内的 JavaScript 或 TypeScript 插件模块,基于 hooks 实现,可观察、重写或拦截事件并绘制自定义 UI,需 Claude Code 2.1.287 或以上版本,默认开启。
推荐理由:原文从零到可测试地讲清 Claude Code mod 的结构、事件钩子和状态管理,示例可直接照做或让 Claude 代写。
Vstorm 在客座文章中讲述了一次智能体故障排查经历:模型三步前用错误参数调用了正确的工具,日志无异常,最终得出流畅但错误的结论,以此论证 AI 智能体可观测性层的必要性。
OpenRouter 发布教程,讲解如何用置信度升级路由让便宜模型处理有把握的请求,低置信度请求才升级到更强模型。方法分五步:用 structured outputs 强制模型返回 0 到 1 的数值置信度字段,基于自身流量的分数段错误率设定阈值并权衡准确率、成本和延迟,在代码中路由低置信度请求,上线后持续监控分数分布、升级率和未升级答案的错误率并重新调参。
推荐理由:原文给出基于自报置信度做模型分级路由的五步方法,读者可以照此在自己的流量上校准阈值,降低推理成本。
OpenRouter 发布智能体模型选型的三步框架:先按任务设定质量门槛,再在自己的 20 到 50 个示例上测量每质量点成本,最后选择以足够余量过线的最便宜模型。文中用 GPT-5.6 Luna、Gemini 3.7 Flash 和 Claude Opus 5 的支持路由示例演示计算,并建议从 usage.cost 读取真实计费成本,在候选模型或价格变动时重跑比较。
OpenRouter 发布教程,讲解在 CI 中用固定 eval 集拦截 pull request,防止修改提示词后模型输出回归。教程给出可直接复用的 Node 脚本和 GitHub Actions workflow,用字符串断言加多次采样多数判定打分,通过必需 status check 阻止不达标合并。
推荐理由:教程给出可复用的 CI 门槛方案,强调在 job 层做路径过滤并把过滤 job 设为必需检查,避免空过和挂起两类陷阱。
Browser Use 对比 Browser Use、KERNEL、Browserbase、Steel、Browserless、Anchor 和 Hyperbrowser 七家浏览器基础设施服务商,数据均取自各家定价页和文档,核对于 2026 年 10 月 27 日。
Google AI 发布本期 AI Agent Clinic 实战内容,由 Google Cloud 工程师 Dani Zamora 与 Merge 的 Matthew Feroz 现场在 60 分钟内搭建端到端、框架无关的 agent 评测流水线。
Pydantic Logfire 官方介绍如何用 Logfire MCP server 让 Cursor、Claude Code、Codex 等编码智能体直接以 SQL 查询 OpenTelemetry traces、日志和指标,给出三条接入路径和 OAuth/API key 认证方式。
推荐理由:原文给出完整接入方式、SQL 查询设计和两家生产团队的数据,能帮助读者判断让编码智能体直查生产 trace 是否适合自家工作流。