用一个 uv 构建开关为 vLLM 启动节省约 18 秒
vLLM 作者介绍通过环境变量 UV_COMPILE_BYTECODE=1 让 uv 在镜像构建时预编译 Python 字节码，避免新容器反复编译源码。
推荐理由：作者用配对实测验证一个 uv 构建开关可为 vLLM 启动省约 18 秒，并给出官方镜像版本和自建镜像注意事项。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
130 条精选近 30 天 69 条共收录 573 条
更新
精选归档 · 第 6 页
vLLM 官方博客精选AI 评分6262 vLLM 官方博客精选AI 评分7676 vllm-metal v0.28.0 发布：在 Apple Silicon 上支持并发推理服务
vLLM 官方发布 vllm-metal 首个正式版 v0.28.0，将 vLLM 的调度器、分页 KV cache 和 OpenAI 兼容服务引入 Apple Silicon，由 MLX 和 Metal 负责执行。
推荐理由：原文给出架构细节、与 llama.cpp 和 oMLX 的并发基准数据，以及 Homebrew 安装入口，读者可以据此评估 Apple Silicon 上的服务化方案。
Anthropic：Research精选AI 评分7575 Anthropic 报告 Claude 加速 30 多个生物分子模型并开源优化代码
Anthropic 发布研究结果显示，Claude 在不到四周内优化了 30 多个开源生物深度学习模型，结构预测平均加速约 4 倍、精度损失极小，同精度输出下约加速 1.6 倍，其中 FlashPairformer 自定义内核在 triangle attention 上超领域标准 2.7-2.9 倍。
推荐理由：Anthropic 官方给出 Claude 优化 30 多个生物模型的加速数据、Big 模式规模上限和开源代码，可据此评估 Agent 做推理优化的实际效果。
Browser Use精选AI 评分6060 Browser Use 复盘浏览器 Agent 的苦涩教训：让模型自己选择观察与动作
Browser Use 作者回顾其架构演进，核心观点是复用成熟 agent harness，暴露模型能用的最简底层接口，让模型自己决定观察和行动。
推荐理由：作者复盘了 Browser Use 从预定义动作到直接暴露 CDP 的演进，读者可以借此思考模型变强后该怎样简化 Agent harness。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 将 Fusion 引入 Devin Desktop 和 CLI，最多节省 39% 编码成本
Cognition 宣布将 Fusion 引入 Devin Desktop 和 CLI。Fusion 是针对 Opus、Fable 和 Astra 的前沿 harness，在主要编码基准上最多比其他模型 harness 高效 39%。
推荐理由：原文详述双智能体协同架构和各基准成本数据，读者可以据此理解按任务计价为何比按 token 计价更合理。
Cognition 模型 / Devin 博客精选AI 评分7373 Cognition 发布编码模型 SWE-2，推动能力与推理成本的 Pareto 前沿
Cognition 发布迄今最先进的编码模型 SWE-2，基于 2.8T 参数的 Kimi K3 后训练，FrontierCode 1.1 Main 得分 50.0%，比 Fable 5.1 仅差 1 分且便宜 64%，比 GPT-6 Astra 低几分但成本仅四分之一。
推荐理由：官方既给出与 GPT-6 Astra、Fable 5.1 的对比数据，也详述了 RL 成本惩罚等训练方法，读者可借此理解低成本高能力的实现路径。
Cognition 模型 / Devin 博客精选AI 评分7777 Cognition 研究员用 Devin 构建 GPU 格子筛，完成 RSA-260 分解
Cognition 研究员 Eric Lu 用多个 Devin 会话构建了高性能 GPU 格子筛，改进 CADO-NFS 并完成 RSA-260（260 位）分解，成本约 4,900 GPU 天、约 40 万美元，比此前公开最优低约 10 倍，刷新了 RSA Factoring Challenge 公开最大解题纪录（此前纪录为 2020 年 2 月的 RSA-250）。
推荐理由：原文给出 RSA-260 分解的成本拆解和 GPU 格子筛实现细节，可据此理解 Agent 驱动科研计算的可行性与边界。
Together AI 研究与产品博客精选AI 评分6969 Together AI 详解从闭源迁移到开源模型的 MIGHT 编码栈
Together AI 发布长文，讲解开发者如何从闭源模型迁移到开源模型构建 AI 编码栈，提出 MIGHT 分层框架：模型、推理、网关/路由、Harness 和工具（Skills 与 MCP）。
推荐理由：原文把开源编码栈拆成 MIGHT 五层并给出模型选型、路由和上下文管理的具体做法，开发者可按层迁移自己的工作流。
Fireworks AI精选AI 评分7474 Fireworks 评测 DeepSeek V4 Pro 0813：SWE-Bench 95.2%，单任务成本约为 Fable 5 的三分之一
Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测，该模型在 SWE-Bench Verified 得 95.2%、LiveCodeBench v6 得 92.0%，均领先 Fable 5 和 Kimi K3，SWE-bench 单个解决任务成本 $0.309，约为 Fable 5（$0.808）的三分之一。
推荐理由：Fireworks 用同一套评测对比 V4 Pro 与 Fable 5 和 Kimi K3，给出逐任务成本数据，并说明 Java 弱项和 oracle 路由的上限含义。
Lovable Blog精选AI 评分6767 Lovable 如何将 lovable.dev 从 Next.js 迁移到 TanStack Start 并用自家平台托管
Lovable 工程师 Alexander Lebedev 复盘了将月活 4200 万+ 访客、约 91 万行代码的 lovable.dev 从 Next.js 迁移到 TanStack Start 并托管在自家平台的全过程，迁移由一名开发者加多个 Agent 在约六个月内完成。
推荐理由：作者是这次迁移的一线工程师，给出了双框架并行、共享代码层和 AI 辅助迁移的可复用方法，还复盘了一次内存事故。
Together AI 研究与产品博客精选AI 评分7979 Kimi K3 开发者指南：Together AI 上的用法、定价与基准
Together AI 发布 Kimi K3 开发者指南，讲解如何在自家 API 上使用月之暗面 2.8 万亿参数的开源模型 K3，该模型支持 1M 上下文。
推荐理由：Together AI 直接服务该模型，指南给出推理档位、缓存和动态工具加载等实操要点，可帮助开发者控制 1M 上下文下的使用成本。
Conductor 官方更新精选AI 评分6060 Conductor 0.78.0 发布 Conductor Cloud
Conductor 发布 0.78.0，推出 Conductor Cloud：云工作区运行在隔离 microVM 上，关闭电脑后智能体仍持续工作，可从桌面应用或 API 打开，并支持分享链接、多人实时协作。
推荐理由：官方更新日志列出 Cloud 工作区隔离运行、团队实时协作和 Conductor API 的具体用法，读者可以据此判断是否迁移现有工作流。
Berkeley AI Research精选AI 评分6363 研究者用 K-Search 将 CUDA kernel 优化经验迁移到 Apple Silicon 的 MLX
IBM Research 基于加州大学伯克利 Sky Lab 的 K-Search 演进式 kernel 搜索框架，为其新增 MLX 后端和结构化 CUDA 到 MLX 翻译层，把概念映射表、MLX 专有模式和可复用断言作为上下文供进化搜索使用。
推荐理由：原文给出可复现的 CUDA 到 MLX 翻译层做法与分项数据，读者可据此评估跨平台 kernel 迁移的方法是否适用。
Together AI 研究与产品博客精选AI 评分6666 Together AI 与月之暗面达成战略合作，首发托管 Kimi K3 开放权重模型
Together AI 宣布与 Moonshot AI 达成战略合作，成为其模型发布的首发平台，从 Kimi K3 开始并覆盖此后所有开放权重模型。
推荐理由：官方公告给出 Kimi K3 架构细节与托管入口，读者可以据此评估开放权重模型在生产环境的可用方式。
Cognition 模型 / Devin 博客精选AI 评分7373 Cognition 实测 Fable 5 单价更高但 Devin 总成本更低
Cognition 在 FrontierCode 1.1 上对比 Fable 5 与 Opus 4.8 发现，尽管 Fable 5 每 token 单价是 2 倍，配合 sidekick 架构后每轮成本反而更低且得分更高（60.7 vs 54.6，$1.86 vs $2.04）。
推荐理由：原文基于 3000 次评测拆解成本去向，读者可以看到智能体计费为何不能只看单价，以及委托风格如何影响成本与质量。
Cognition 模型 / Devin 博客精选AI 评分6565 Cognition 发布 Devin Fusion 混合模型 harness，成本最高降低 60%
Cognition 发布 Devin Fusion 预览，一个混合模型 harness，在 FrontierCode 1.1 Extended 基准上以更低成本保持接近 Fable 5 和 Opus 5 的编码性能。
推荐理由：官方公开了 sidekick 双智能体和动态路由的实现思路与成本数据，工程师可借鉴这套混合模型调度方法。
Cognition 模型 / Devin 博客精选AI 评分6060 Cognition 分享 Devin 云端自主测试能力的构建经验
Cognition 工程师复盘 Devin 在云端虚拟机中自主测试代码变更的做法。Devin 进入测试模式会先写出基于源码的测试计划，再用截图、点击等 computer use 工具运行应用并验证改动，将登录等重复流程沉淀为仓库中的确定性测试技能，最后返回带标注截图、章节和通过/失败断言的测试报告与视频。
推荐理由：Cognition 工程师复盘 Devin 自主测试的构建经验，给出测试计划、测试技能和回放产物等可直接借鉴的工程做法。
Cognition 模型 / Devin 博客精选AI 评分6161 Devin 推出 Auto-Triage 自动排查告警、事件并可开 PR
Cognition 为 Devin 推出 Auto-Triage 功能，可监控 Slack、Linear、GitHub、Sentry、Datadog 和 webhook 等来源的告警与事件，自动排查、关联重复问题、标记负责人，必要时直接开 PR。
推荐理由：官方介绍了 Auto-Triage 的具体工作机制与 Modal 使用案例，读者可据此评估它能否承接团队的告警排查流程。
OpenClaw：Blog精选AI 评分6464 OpenClaw 将 OpenAI 模型 agent 回合默认切换到 Codex app-server 运行时
OpenClaw 宣布 openai/gpt-* 模型的 agent 回合现在默认通过原生 Codex app-server 路径运行，由 Codex 负责线程状态、工具延续、压缩、code mode 和动态工具搜索，OpenClaw 继续负责渠道、记忆、定时任务、媒体等外层能力。
推荐理由：原文说明 OpenClaw 默认改用 Codex app-server 运行 OpenAI 模型回合，读者可了解运行时分工调整带来的具体工作流变化。
OpenAI：Alignment 研究博客精选AI 评分7777 OpenAI 在 Codex 中发布 Auto-review，用独立智能体审批越界操作
OpenAI 上周在 Codex 中发布 Auto-review 模式，用另一个 Codex 智能体代替人工审批沙箱边界外的操作，Codex 会话人工审批频率比手动模式降低约 200 倍。
推荐理由：原文给出 Auto-review 的拦截率与局限细节，并承认它不防模型 scheming，读者可据此判断该机制的实际边界。