跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

130 条精选近 30 天 69 条共收录 573 条

更新

精选归档 · 第 3 页

10月29日周四第 41–60 条
  1. OpenRouter:Announcements69

    OpenRouter 实测 13 种提示词注入攻击并给出三层防御方案

    OpenRouter 发布提示词注入防护教程,用自有 13 种攻击加外部模型编写的 12 种攻击测试 Claude Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash 和 GLM 5.3 Flash 四款模型。

    推荐理由:OpenRouter 用 13 种攻击实测四款模型的三层防御,给出标签、模型白名单与 Armor 工具调用检查的完整配置和取舍数据。

  2. Google Developers Blog64

    Google 讲解如何用 A2UI 与 CopilotKit 构建 Generative UI 应用

    Google Developers Blog 介绍如何结合 A2UI 与 CopilotKit 构建 Generative UI 应用。A2UI 是 Google 的框架无关开放标准,智能体以声明式 JSON 描述 UI,客户端用既有组件渲染,Basic Catalog 提供 18 个通用原语并支持自定义组件目录。

    推荐理由:原文给出了 A2UI 的声明式机制、安全模型和与 CopilotKit 的完整接入代码,读者可以据此在自己的应用里落地 Generative UI。

10月28日周三
  1. Pydantic AI 官方文章72

    Pydantic AI 基准测试:code mode 让 8 个模型长任务成本降 58%、耗时降 51%

    Pydantic AI 作者在 5 个小应用、8 个模型上跑了 5276 次分级评测,对比 code mode 开关的效果。长任务下成本 -58%、墙钟时间 -51%、成功数提升 16 分;200 项时节省 47%-75% 成本,成功率先从 62-79% 回到 92-100%。

    推荐理由:原文用 5276 次受控评测给出 code mode 在长任务上的收益与短板数据,并指出真正节省的是每次请求中的 token 而非往返次数。

  2. OpenRouter:Announcements69

    OpenRouter 重构提供商路由算法,TTFT 降低 16.9%、429 错误减少 46%

    OpenRouter 宣布自创立以来最大的一次路由算法升级,默认路由不再只按输入价格排序,而是综合有效价格、吞吐量、TTFT、限流与错误率、输出质量计算实时 Routing Cost 来分配流量。

    推荐理由:OpenRouter 官方详解新路由算法的计分方式,并附上基于 2400 万请求的实验数据,读者可据此评估对自身推理成本与速度的影响。

10月23日周五
  1. vLLM 官方博客74

    vLLM 实现 MiniMax-M3.1-Flash Day-0 支持

    vLLM 在发布当天为 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。

    推荐理由:原文给出了多平台内核优化细节和 AgentX 实测吞吐数据,读者可以据此评估该模型在不同 GPU 上的部署性价比。

10月22日周四
  1. Pydantic AI 官方文章60

    Pydantic AI 原生集成 E2B 沙箱,编码 Agent 命令可在隔离 microVM 中运行

    E2B 成为 Pydantic AI 的原生沙箱提供方,在 Agent capabilities 中加入 E2BSandbox() 即可让所有 shell 命令和文件操作运行在隔离的 E2B microVM 中,本机环境不会进入沙箱。

    推荐理由:原文给出把编码 Agent 的命令执行移出本机的具体接入方式,以及沙箱跨运行暂停恢复和 Worker 崩溃后继续任务的完整示例。

10月21日周三
  1. Wiz:Research87

    Wiz 披露 LiteLLM 1.107.0 供应链投毒事件,窃取 AI 与云凭据

    Wiz 披露 LiteLLM 供应链攻击:10 月 21 日 11:39 UTC,含窃密代码的 LiteLLM 1.107.0 被上传至 PyPI,约获 49,000 次下载,13:20 UTC 被隔离,GHCR 与 Docker Hub 上的 v1.107.0、latest 等镜像标签也含恶意版本,最近的安全版本为 v1.106.2。

    推荐理由:Wiz 溯源了 LiteLLM 投毒事件的完整链条,从 PyPI 感染面、窃密模块到后续 LLMjacking 滥用,供使用者自查处置。

  2. vLLM 官方博客67

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,支持 Turing 起的 NVIDIA GPU 及 T-Head Zhenwu 810E,用统一量化表示加 JIT 编译覆盖多种权重/激活组合和 MoE 工作负载。

    推荐理由:蚂蚁集团与 vLLM 社区开源的量化推理内核库,基准数据和端到端收益都给出细节,对部署与内核选型有直接参考价值。

10月20日周二
  1. Zyphra Research65

    Zyphra 发布 ZOE 第二波 MI355X 推理优化报告,GLM-5.3 长上下文 TTFT 提速至 3.6x

    Zyphra 发布 Zyphra Optimization Engine(ZOE)第二波推理优化技术报告,针对 AMD Instinct MI355X 编写融合 MoE、DSA lightning indexer、CSA top-K 选择和 dual-scope decode 四个自定义 HIP kernel,并集成进其生产 fork 的 vLLM 和 SGLang。

    推荐理由:Zyphra 以实测 roofline 为基准公开了 kernel 与端到端数据,长上下文 MoE 推理优化方法对同类工程工作有参考价值。

  2. Browser Use67

    五款让编码智能体控制浏览器的 MCP 工具实测对比

    作者在 BU Bench V2.1 的 100 个公开任务上,用 Codex CLI 0.144.6 加 GPT-6 Luna 对比 Browser Harness、Playwright MCP、Chrome DevTools MCP、agent-browser 和 Browser MCP,分数均在噪声范围内持平(56.3 到 61.0)。

    推荐理由:作者用统一代理和 BU Bench 100 个任务实测五款浏览器控制工具,给出 token、成本、速度和适用场景的可比数据。

  3. Google Developers Blog64

    Google 发布 TorchTitan TPU:TorchTPU 原生接入 PyTorch 并给出 TPU 训练优化方案

    Google 发布 TorchTitan TPU 分支(github.com/google-pytorch/torchtitan),配合 TorchTPU 让 PyTorch 通过 torch.device("tpu") 原生使用 Cloud TPU,无需改写 JAX 或依赖旧 torch_xla。

    推荐理由:官方详细披露了 TorchTitan TPU 的关键组件与实测 MFU 数据,读者可据此评估自家模型迁移到 Cloud TPU 的可行路径。

  4. Google Developers Blog69

    Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 PyTorch 相关发布中推出面向 TPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎,分别与 Inferact、RadixArk 合作开发,基于让 TPU 成为原生 PyTorch 设备的 TorchTPU。

    推荐理由:官方披露 TorchTPU 架构设计与公开基准结果,读者可以据此评估在 TPU 上用 PyTorch 生态做推理的可行路径。

10月19日周一
10月17日周六
  1. Browser Use68

    Browser Use 深度评测 11 款浏览器 MCP server 并给出选型建议

    Browser Use 作者把浏览器 MCP server 分为三类:本地逐步操控、云端浏览器、整任务交给 agent,并逐一给出推荐和注意事项,如 Playwright MCP 适合测试、Steel 支持人工接管登录。

    推荐理由:作者按三类任务梳理 11 款浏览器 MCP server 的选型逻辑,并附自家实测的 token 成本与耗时对比,可直接用于选型。

10月16日周五
  1. Comfy Blog73

    Black Forest Labs 发布开源权重模型 FLUX 3 Image Klein,5.6B 参数可在消费级 GPU 上生成 4K 图像

    ComfyUI 博客介绍了 Black Forest Labs FLUX 3 家族中紧凑型开源权重模型 FLUX 3 Image Klein,共 5.6B 参数,支持原生 4K 生成、多参考图生成与编辑、bounding boxes 构图、文字渲染编辑和参考图风格迁移。

    推荐理由:原文给出 FLUX 3 Image Klein 的参数量、开源权重获取方式和消费级 GPU 上的量化加速数据,可据此评估本地图像生成工作流。