Meta Andromeda 下一代广告检索引擎:模型-系统-硬件协同设计
Meta 在工程博客中介绍下一代 Meta Andromeda 个性化广告检索引擎,通过模型、系统与 GPU 硬件协同设计,吞吐量突破每秒 10 亿广告评分,较 2024 版提升 100 倍,单张 GH200 GPU 达每秒超 100 亿广告。
Meta 在工程博客中介绍下一代 Meta Andromeda 个性化广告检索引擎,通过模型、系统与 GPU 硬件协同设计,吞吐量突破每秒 10 亿广告评分,较 2024 版提升 100 倍,单张 GH200 GPU 达每秒超 100 亿广告。
Meta 宣布其个人 AI 智能体 Muse 现已在新加坡可用。新加坡用户可将 Muse 连接 Gmail、Google Calendar、Instagram 等应用,并可接入 Shopee、Grab、Singapore Airlines、Agoda、ShopBack、Klook、Trip.com 和 Lazada 等本地合作服务,覆盖购物、餐饮和旅行场景。
OpenRouter 宣布自创立以来最大的一次路由算法升级,默认路由不再只按输入价格排序,而是综合有效价格、吞吐量、TTFT、限流与错误率、输出质量计算实时 Routing Cost 来分配流量。
推荐理由:OpenRouter 官方详解新路由算法的计分方式,并附上基于 2400 万请求的实验数据,读者可据此评估对自身推理成本与速度的影响。
NVIDIA 技术博客讲解如何在 Kubernetes 中利用 CUDA 13.4 实现基于内存的 GPU 共享,让只占少量 GPU 资源的 AI 工作负载不必独占整块设备,从而提升利用率。文章介绍了 NVIDIA GPU 已支持的多种共享方式,包括将 GPU 切分为硬件隔离实例、对应用透明的 Multi-instance GPU(MIG),帮助平台团队用现有基础设施服务更多工作负载。
Google 宣布对 Google Play services 中的 LiteRT 端侧推理运行时进行重大升级:由 ML Drift 驱动并通过新 CompiledModel API 提供的 GPU 推理,比旧版 GPU delegate 快约 1.4x。
Apple 于 10 月 28 日发布搭载 PROLED XDR 显示屏的新 MacBook Pro,14/16 英寸两款,10 月 28 日起预售,11 月 6 日上市。
n8n 发布 3.0.0 Beta,稳定版预计 12 月初上线。3.0 不加新功能,主要清理遗留代码、收紧安全默认值,包括移除内存 binary data 模式、Code 节点超时从 5 分钟降至 1 分钟、自托管仅支持 Docker、npm/npx 安装不再支持。
Amp 官方宣布推出 Android 应用,可从 ampcode.com/app 下载安装或扫描二维码。应用内可查看设计讨论线程、Portals 标签页中的幻灯片以及 Changes 标签页中的 present.js 代码改动。
Together AI 讲解其 GPU Clusters 全自动节点修复系统的工作原理与设计逻辑。系统在 VM 内和宿主机两侧持续检测 Xid 错误、ECC double-bit 错误、GPU 掉离 PCIe 总线、InfiniBand 链路抖动等故障,覆盖 detect、decide、repair、re-validate 四阶段,每项修复都附带证据。
Google 为生成式 UI 协议 A2UI 推出可切换推理格式,新默认格式 A2UI Express 相比 Direct JSON 生成同样界面可减少最多 3x 延迟、节省最多 3x token,已上线 Python、TypeScript 和 Dart SDK。
Apple 于 10 月 27 日发布搭载 M6 芯片的 14 英寸 MacBook Pro,10 月 28 日开启预购,11 月 6 日上市,起售价 $1,999。
Apple 于 10 月 27 日宣布 Apple Creator Studio 重大更新,11 月起作为免费更新推送给现有订阅者。
推荐理由:官方发布覆盖 Final Cut Pro、Logic Pro、Pixelmator Pro 及办公三件套的 AI 能力与 MCP 支持,可据此判断创作套件如何接入外部智能体。
Cognition 发布 Devin Security 重大升级,新增由 Claude Mythos 等前沿网络模型驱动的深度扫描,企业无需单独获取模型即可通过 Devin 使用。
Apple 发布搭载 M6 芯片的新款 iMac,配备最高 12 核 CPU 和 12 核 GPU,端侧 AI 性能最高比 M4 快 5 倍,Intel 机型用户升级最高快 18 倍。新品搭载 macOS 27 与 Siri AI,支持 Wi-Fi 7 和 Bluetooth 6,24 英寸 4.5K 屏七色可选,10 核版起售价 $1,499,10 月 28 日预购,11 月 6 日开售。
Google Workspace 宣布 Markdown(.md)文件可在 Google Docs 中原生查看、编辑和协作,无需转换文件格式,并已在 Drive 中提供渲染预览。文件保留 .md 徽标和底层格式以兼容开发者工具和 git 仓库,支持人类与 AI 智能体实时协同编辑、行级评论和完整版本历史;任何 Google 或 Workspace 账号均可立即使用。
推荐理由:官方说明了 .md 文件可在 Google Docs 原生编辑与协作的细节,开发者可评估其与 git 和 AI 智能体工作流的衔接方式。
Apple 发布全新 iPad mini,配备 8.5 英寸 OLED 屏幕、更轻薄的机身和 IP67 防水防尘,10 月 28 日开启预购、11 月 6 日发售,Wi-Fi 版起售价 $699。
推荐理由:官方发布稿给出iPad mini的具体规格与定价,读者可据此评估A20 Pro的端侧AI性能升级是否值得换机。
Figma 的 code layers 进入 open beta,六支团队分享了在画布上用代码驱动原型的用法。
vLLM 在发布当天为 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。
推荐理由:原文给出了多平台内核优化细节和 AgentX 实测吞吐数据,读者可以据此评估该模型在不同 GPU 上的部署性价比。
Mastra 发布 MCP Events,支持 MCP 服务器通过 push、poll 或 webhook 三种投递方式向客户端发送实时事件,提供 .emit() 与 .subscribe() 标准接口,无需额外的 pub/sub 服务。
Microsoft Research 推出 Flint-interactive,这是构建在 Flint 之上的交互式数据可视化语言,让用户和 AI 智能体通过高级语义事件和 update operators 定义点击、筛选、缩放、高亮及跨图表联动等交互行为。
LangChain 宣布 LangSmith LLM Gateway 开启公测,定位为位于 Agent 与模型之间的集中治理层,支持 OpenAI、Anthropic、Fireworks 及兼容端点。
Amp 推出自托管 orbs 功能,用户在自己的基础设施上运行 amp orb provider,通过自定义 dispatch 程序处理 spawn、pause、delete 等请求,官方提供 Docker、E2B、Modal、Vercel、Daytona、exe.dev 示例和 GKE/EKS/AKS 的 Helm chart。
PyTorch 团队发布 TorchTitan 年度更新,新增 Muse Spark Open、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3、DeepSeek-V4 等模型的全训练栈支持,并推出 RL 框架 TitanRL,训练与推理共用同一代码库。
Apple 官方宣布全球开发者已针对首款折叠屏 iPhone Duo 优化应用,覆盖流媒体、游戏、生产力、创作等场景,优化应用从本周五起在 App Store 通过 Made for iPhone Duo 标识可辨。
Google Cloud 宣布 API Gateway 的流式(streaming)支持进入 Public Preview,此前开发者只能在“有网关治理”和“支持流式”之间二选一。
IBM 发布插件库 vLLM-Hook MIA(model internals aperture),面向 vLLM 推理引擎,让开发者在不显著降低性能的情况下于运行时观察和干预模型生成过程,例如拒绝恶意提示词、标记幻觉或调整回复。
vLLM 宣布从 day 0 起支持 Recursive 的 Flint 模型,NVFP4 和 BF16 两个 checkpoint 均可在单张 GPU 上运行,在一张 GB200 上 100K 上下文下单请求解码约 500 tokens/s。
推荐理由:官方给出 Flint 的架构细节、NVFP4 与 BF16 双 checkpoint 和 day-0 部署方式,读者可以直接照着在 vLLM 上跑起来。
Anthropic 的 Claude Opus 5.5 和 Claude Sonnet 5.5 现已在 Google Antigravity 正式可用,覆盖 Antigravity 2.0 Desktop、CLI 及 VS Code、JetBrains、Visual Studio 的 IDE 扩展。
Mastra 通过 @mastra/mcp ^2.0.0 支持 MCP 2026-07-28 规范,新规范移除 initialize 握手和会话 ID,每个请求自包含,MCP 服务器可像普通 HTTP 服务一样在负载均衡实例或可缩容到零的 serverless 平台上部署。
Google 的 Agents CLI 自 1.5.0 版本起引入 Extension System,允许开发者在不 fork 工具的情况下覆盖或新增命令;1.8.0 版本随附首个官方 LangChain 扩展,可将框架相关命令替换为 LangChain 等价命令。
Mastra 介绍其托管可观测平台 Mastra Observability,可直接接入 Mastra 框架项目,自动追踪智能体运行,查看模型与工具调用的耗时、token 和成本,并在线打分跟踪正确性。
llm-d 项目贡献者在 PyTorch Conference North America 发布 llm-d 1.0,一个 Kubernetes 原生的分布式推理服务栈,可部署任意模型、任意加速器、任意云,由 Red Hat、IBM 和 Google 担任主导维护者。
Lovable 发布企业功能 10 月汇总,面向采用联邦治理模式的大型企业团队。
Inferact 与 Google 团队发布 vLLM TorchTPU(vllm-torchtpu),一个基于 Google TorchTPU 栈的 vLLM 后端插件,复用 vLLM 现有模型代码,多数现有模型无需改动即可在 TPU 上服务,CLI、OpenAI 兼容服务器、调度器和 KV cache 管理器均保持不变。
Google 在 PyTorch 相关发布中推出面向 TPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎,分别与 Inferact、RadixArk 合作开发,基于让 TPU 成为原生 PyTorch 设备的 TorchTPU。
推荐理由:官方披露 TorchTPU 架构设计与公开基准结果,读者可以据此评估在 TPU 上用 PyTorch 生态做推理的可行路径。
Arm 使用 Google AI Edge Model Explorer 开发了多个开源适配器,支持 TOSA、VGF 和 PTE 模型格式,为边缘模型部署提供可视化调试。
Fireworks AI 宣布 11 月 30 日前免费开放 Muse Glimmer 30B 的 SFT 训练,并公布用其训练 tuned Glimmer 预测 Kalshi 已结算市场结果的配方。
Meta 的开源权重模型 Muse Spark Open 于 Fireworks 提供 Day-0 无服务器服务,为 816B 参数 MoE 模型,每 token 激活 42B 参数,上下文窗口 1M token,面向长程编码与智能体任务。
推荐理由:原文汇总了多个第三方基准的实测分数,读者可以据此评估这个开源权重模型在法律、金融等专业场景的可用性。
Google 宣布 Coral NPU 边缘 AI 开放标准达成三大里程碑:新增 Matrix Execution Unit 完成 32 位架构,可配置至 1 TOPS、目标推理平均功耗 10mW。
Together AI 推出 Together Post-Training 服务,支持通过 SFT 和 RL 在其平台上构建自定义模型,训练循环完全由用户定义。