跳到正文
10月28日周三
  1. OpenRouter:Announcements69

    OpenRouter 重构提供商路由算法,TTFT 降低 16.9%、429 错误减少 46%

    OpenRouter 宣布自创立以来最大的一次路由算法升级,默认路由不再只按输入价格排序,而是综合有效价格、吞吐量、TTFT、限流与错误率、输出质量计算实时 Routing Cost 来分配流量。

    推荐理由:OpenRouter 官方详解新路由算法的计分方式,并附上基于 2400 万请求的实验数据,读者可据此评估对自身推理成本与速度的影响。

  2. NVIDIA Technical Blog:Agentic AI / Generative AI42

    NVIDIA CUDA 13.4 在 Kubernetes 中实现基于内存的 GPU 共享

    NVIDIA 技术博客讲解如何在 Kubernetes 中利用 CUDA 13.4 实现基于内存的 GPU 共享,让只占少量 GPU 资源的 AI 工作负载不必独占整块设备,从而提升利用率。文章介绍了 NVIDIA GPU 已支持的多种共享方式,包括将 GPU 切分为硬件隔离实例、对应用透明的 Multi-instance GPU(MIG),帮助平台团队用现有基础设施服务更多工作负载。

10月27日周二
10月26日周一
  1. Pydantic AI 官方文章43

    为什么有了日志还需要 traces?Pydantic AI 解析日志与 trace 的区别

    Pydantic AI 发文解释为何有日志仍需要 traces:日志只记录某时刻发生了什么,而 span 带 trace ID、span ID、parent span ID 及起止时间,能说明哪些操作属于同一请求、谁调用了谁、时间花在哪里。文章以一个 checkout 示例演示:加 request ID 后仍难判断并发调用的真实耗时,操作重试或未结束(如进程被杀)时日志更无法还原调用关系。

10月24日周六
10月23日周五
  1. vLLM 官方博客74

    vLLM 实现 MiniMax-M3.1-Flash Day-0 支持

    vLLM 在发布当天为 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。

    推荐理由:原文给出了多平台内核优化细节和 AgentX 实测吞吐数据,读者可以据此评估该模型在不同 GPU 上的部署性价比。

  2. n8n Blog42

    AI agent 工作流的模型幻觉检测方法指南

    AI agent 的模型幻觉通常与正常回答无异,需要在工作流中分层检测。指南将幻觉分为事实性、上下文性、虚构和自相矛盾四类,并介绍 faithfulness/groundedness 检查(可用 DeepEval 自动化)、自一致性检查、语义熵不确定性估计、外部源验证以及按置信度阈值分流并保留 human in the loop 的方案。单一检查无法覆盖所有失败模式,需按失败类型组合多层验证。

10月22日周四
  1. Pydantic AI 官方文章60

    Pydantic AI 原生集成 E2B 沙箱,编码 Agent 命令可在隔离 microVM 中运行

    E2B 成为 Pydantic AI 的原生沙箱提供方,在 Agent capabilities 中加入 E2BSandbox() 即可让所有 shell 命令和文件操作运行在隔离的 E2B microVM 中,本机环境不会进入沙箱。

    推荐理由:原文给出把编码 Agent 的命令执行移出本机的具体接入方式,以及沙箱跨运行暂停恢复和 Worker 崩溃后继续任务的完整示例。

10月21日周三
  1. Wiz:Research87

    Wiz 披露 LiteLLM 1.107.0 供应链投毒事件,窃取 AI 与云凭据

    Wiz 披露 LiteLLM 供应链攻击:10 月 21 日 11:39 UTC,含窃密代码的 LiteLLM 1.107.0 被上传至 PyPI,约获 49,000 次下载,13:20 UTC 被隔离,GHCR 与 Docker Hub 上的 v1.107.0、latest 等镜像标签也含恶意版本,最近的安全版本为 v1.106.2。

    推荐理由:Wiz 溯源了 LiteLLM 投毒事件的完整链条,从 PyPI 感染面、窃密模块到后续 LLMjacking 滥用,供使用者自查处置。

  2. vLLM 官方博客67

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,支持 Turing 起的 NVIDIA GPU 及 T-Head Zhenwu 810E,用统一量化表示加 JIT 编译覆盖多种权重/激活组合和 MoE 工作负载。

    推荐理由:蚂蚁集团与 vLLM 社区开源的量化推理内核库,基准数据和端到端收益都给出细节,对部署与内核选型有直接参考价值。