OpenRouter 教程:用 Python 构建语音 AI 餐厅订座智能体
OpenRouter 发布教程,用 Python 构建一个餐厅订座语音智能体,串起语音转文字、带工具调用的 LLM 和文字转语音三段流水线,共用一个 OpenRouter API key。
推荐理由:OpenRouter 官方实测数据,读者可据此了解语音智能体的延迟构成、成本分布和各模型选型差异。
OpenRouter 发布教程,用 Python 构建一个餐厅订座语音智能体,串起语音转文字、带工具调用的 LLM 和文字转语音三段流水线,共用一个 OpenRouter API key。
推荐理由:OpenRouter 官方实测数据,读者可据此了解语音智能体的延迟构成、成本分布和各模型选型差异。
Google 在 Google AI Edge Gallery 中新增端侧 ASR 与 TTS 能力,可完全离线运行。Android 端 ML Kit 支持 100+ 语言转写,速度达 10 倍实时,FLEURS 词错率 8.0% 至 9.0%;TTS 约 100 ms 起播,以最高 50 倍实时速度合成 24 kHz 音频,APK 零增加。
推荐理由:官方给出端侧 ASR 与 TTS 的具体指标和三条接入路径,开发者可据此评估把语音能力加入本地 AI 应用的方案。
Zyphra 发布 ZONOS3-Mini,一个零样本语音克隆 TTS 模型,采用稀疏 MoE 架构,1 亿活跃参数、8 亿总参数,Apache 2.0 许可,在 112 块 NVIDIA H100 上训练 2.5 天。
推荐理由:原文给出参数规模、端侧延迟数字和 ZTTS2-Eval 排名,开源权重与多端运行时可帮助读者评估实际部署成本。
Meta 在 Muse 应用的移动端、网页端和 Mac 上推出实时语音对话,点击右上角电话图标即可开始通话。语音模式支持边说边完善旅行规划、面试和演讲排练等场景;头像会随对话语气做出细微表情和手势,提供仅语音、侧边头像和全屏三种显示方式,另有数百种可选声音。本次功能先在美国推出,AI Glasses 和 Muse Charm 上的语音对话即将到来。
Gradium 团队在 Phonon 开放两周后复盘这次发布,介绍这款在设备本地运行、无需网络和服务器的小型 TTS 模型。
PyTorch 团队将多语言流式 ASR 模型 Nemotron 3.5 通过 ExecuTorch 部署到 Google Pixel 11,评估 chunk 大小与量化精度对流式识别质量和延迟的影响。
Sierra 推出 𝜏-Entity 基准,用 200 个任务、10 类实体测试语音智能体能否正确捕捉并修复姓名、电话、地址、邮箱等细节。GPT Live 1 常规通话正确率 60.3%,但三种条件全部通过仅 34.0%;预设验证策略可将通过率提升 14–31 个百分点,代价是每次通话多 21–28 秒,且被验证的初始错误中只有 24–37% 最终被纠正。
Sierra 推出 𝜏-i18n,将 𝜏-Voice 语音智能体评测扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,任务、策略与成功标准保持不变以便跨语言比较。
Mistral 发布 Voxtral 3,包含语音转写与 TTS 模型以及基于 LiveKit 的语音智能体 SDK,将听、推理、工具调用和说话整合为单一实时流式管线。
LiveKit 发布生产级 AI 语音智能体构建指南,围绕自然对话、生产观测和可靠扩缩三大问题给出经验建议。要点包括单独测量首响应延迟、用 turn detector 处理轮次与打断、异步调用耗时工具,客户从 GPT-4.1 换到 Gemma 4 31B 在 p50 上省了 300–500ms;还建议为 STT、LLM、TTS 各阶段配置 fallback,并在上线前算清单次对话成本。
Apple 发布新一代 Apple TV 4K(第四代),主打由下一代 Apple Intelligence 驱动的 Siri AI 全屏对话体验,内置三个远场麦克风支持免提语音控制。
Sierra 发布 fleming-1 模型,实时分析来电语音并评分,判断对方是否为 AI 生成的合成语音,并标记疑似 AI 来电,模型默认调校偏保守以避免误标真人。该模型配合此前宣布的 Personal Agent Protocol 开放标准使用,适用于任何基于 Sierra 构建的语音智能体,开启后即可使用。
Serve AI 用 LiveKit Agent Simulations 验证并将其客服语音智能体从 Retell 的 224 节点流程图迁移为单提示词架构。团队用约 100 条真实生产通话生成模拟场景,经 10-15 轮迭代达到 98% 通过率、中位轮次延迟 1.3 秒(上限 1.5 秒),首个账户迁移仅一周且无需回滚。
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户在任务级测试语音智能体,并由 LLM judge 依据自由格式预期给出通过或失败判定。
ElevenLabs 语音模型接入 OpenRouter,提供 9 个 Text to Speech 模型和 2 个 Speech to Text 模型,用户用 OpenRouter API key 调用 /api/v1/audio/speech 和 /api/v1/audio/transcriptions 即可,无需单独的 ElevenLabs 计划。
Sierra 在旧金山举办 Sierra Summit 2026,宣布旗下 Agent OS 新增两款模型:Curie 负责对话核心编排,Fleming 可识别来电者是另一个 agent。
LiveKit 博客从四个问题出发,对比 Retell、Vapi 与 LiveKit 三个语音 AI 智能体平台的差异:上线后由谁迭代、超出默认能力怎么办、是否支持电话之外的渠道,以及规模化成本。
Suno 推出 Speech (beta),官方称其为首个能将语音与原创背景音乐作为一轨完整生成的音频模型。用户在 Suno 中输入文字并描述音色与音乐风格即可创作,此前已小范围测试一个月,现面向所有用户开放 beta。
推荐理由:官方公布了 Speech 的使用方式和已知局限,读者可以据此判断口播配乐创作能否融入现有工作流。
Google 开发者团队介绍如何用 Gemini Live API 构建可实时对话、可被打断的语音 Agent,架构包括浏览器客户端、Gemini Live API 和基于 google-genai SDK 的 Python 后端,通过 WebSocket 保持双向音频连接。
推荐理由:官方教程讲解了 Gemini Live API 双向音频架构和降低打断延迟的本地缓冲技巧,读者可以直接照做复用。
LiveKit 博客发布指南,从架构、采用度、开发体验和生产就绪度对比 LiveKit Agents 与 Pipecat 两大开源语音视频 Agent 框架。核心差异是 LiveKit Agents 构建在高抽象的会话模型上并绑定自家 WebRTC/SIP 服务器,Pipecat 则让开发者自选 transport 并逐级组装 pipeline,适合非对话式或并行分支场景。
Descript 发布 2026 年 9 月 17 日功能汇总,字幕新增 18 个预设和 10 种文本动画,AI 可按描述生成背景音乐与音效,需更新至 145.0.15 或更高版本。
Google 官宣其语言技术已支持超过 300 种语言、覆盖全球 86% 人口,并介绍 Gemini 3.5 Live Translate 支持 70 种语言、2,000+ 语言对的实时口译。
Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG 和 Believe 等行业伙伴合作开发,包含 v6、v6-wild 和 v6-mini 三款模型,分别面向精准创作、风格探索和免费快速生成。v6 支持用自然语言编辑歌曲片段、混搭多来源素材、采样构建节拍,以及从文本、音频、图片和视频生成音乐,上线后将逐步替换旧模型。
推荐理由:原文出自 Suno 官方,给出 v6 三款模型的定位差异和新编辑能力,读者可以对照自身创作需求选择版本。
LiveKit 发文解释语音智能体日志中「inference is slower than realtime」警告:它与所用 STT、TTS、LLM 模型无关,而是智能体进程内的 VAD 模型未能在 32ms 内处理完每 32ms 音频窗口,警告中的 delay 表示 VAD 落后实时音频的距离,Python 按秒、Node.js 按毫秒报告。
Suno 宣布与音乐公司 Believe 及其自助发行平台 TuneCore 达成全球战略合作。使用 Suno 新行业伙伴模型创作的歌曲将可通过 Believe 和 TuneCore 发行至 Spotify、Apple Music 等平台。
LiveKit 发布语音 Agent 的非生产部署功能,让 Agent 在同一项目、同一镜像、同一套 secrets 下以不同名称运行,一条命令即可创建,用 --deployment 标志即可指定目标。
LiveKit 发布 Connectors,将 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话以普通参与者形式接入 LiveKit 房间,无需部署 SIP trunk 或网关。
LiveKit 博客讲解语音智能体对 "yes"、"no" 这类短回复失去响应的排查方法,核心是 turn 闭合需要 final_transcript 和 end_of_speech 两个事件。文中逐项分析 STT 缺失最终转录、endpointing 设置过激或过松、噪声消除误删用户音频、SIP 通话质量差和 backchannel 被误判为打断等根因,并给出对应修复方案与按序诊断清单。
LiveKit 宣布自本月起对 agent 会话分钟数与录制、WebRTC 连接、SIP 连接改为按秒计费,最小计费增量 10 秒,让账单更贴近实际用量。该变更适用于包括企业合同在内的所有计划,已对现有客户生效,将于 9 月账单反映 8 月用量。此举主要解决外呼场景中通话常只有数秒却按分钟计费的错配问题,且不涉及面向客户的技术改动。
LiveKit 为 Agent Observability 推出 PII Redaction 功能,在录音和转写存储前自动脱敏 41 类、10 组个人敏感信息,对所有 LiveKit Agent Observability 客户免费开放。
LiveKit 在博客中讲解其语音 AI 平台如何处理零数据保留(ZDR):通过 LiveKit Inference 的 inference.LLM、inference.STT 和 inference.TTS 提供的所有模型默认开启 ZDR,不保留、不记录、不训练、不聚合用户数据,且适用于所有 LiveKit 套餐,无需配置开关。
Suno 发布 Studio 2.0,面向音乐创作者带来更深度的制作控制,现已向 Premier 订阅用户开放。新功能包括在时间线上导入、录制和编辑 MIDI 并配合新的 wavetable 合成器,MIDI 片段还可作为音频生成的提示;Chat bar(beta)支持用对话方式创建乐器、人声和自定义插件,上线期间创建插件不消耗 credits。
推荐理由:官方列出 MIDI、Chat、分轨分离等具体新能力与订阅门槛,音乐创作者可据此评估是否升级工作流。
Suno 宣布 9 月 3 日起实施新的下载限额和新服务条款,并将推出与音乐行业合作开发的新一代模型,届时旧模型全部退役。下载限额为 Free 终身 7 次试用下载、Pro 每月 20 次、Premier 每月 60 次,Suno Studio 不限额,超出可付费购买;已生成歌曲保留在曲库中可播放分享,付费计划下载的歌曲保留商业使用权。
Waymo 官方宣布为面向网约车设计的 Ojai 车型推出 Gemini in Waymo 与重新设计的车内界面。Gemini 助手处于 beta 阶段,可控制座舱空调、提供行程信息和周边知识,但独立于 Waymo Driver,不控制车辆行驶或路由,也无权访问实时驾驶数据;新界面采用三屏联动设计,按乘客位置分配显示内容,并新增可调暗屏幕的 Calm Mode。
OpenAI 发布 GPT-Live 系统卡,说明 GPT-Live-1 与 GPT-Live-1 mini 的训练数据、过滤流程及语音原生安全评测。8 月 4 日更正评测配置后重跑评测,GPT-Live-1 在非法行为上从 0.97 回归到 0.95,GPT-Live-1 mini 从 0.94 回归到 0.91,另有性内容与血腥内容分数下降,但均未低于安全上线标准。
Zyphra 发布开源实时语音合成模型 ZONOS2,采用 MoE 架构,总参数 8B、激活参数 900M,Apache 2.0 许可,称其为首个开源 MoE TTS 模型。
推荐理由:官方同时放出权重、推理代码和自建评测集,还解释了 WER 与克隆保真度的权衡,读者可据此评估其语音克隆路线。
Suno 宣布改进 Stem Separation 功能,提供 Auto Split、Split from Mix 和全新的 Advanced Split 三种拆分方式,最多可拆成 12 条音轨,Advanced Split 支持从近 100 种乐器中精确提取且仅限 Premier 订阅。该功能采用模型重新生成音轨而非切割原曲的方式,减少串音和水声伪影,可用于自己创建或上传的歌曲,为付费订阅功能。
Suno 分享用好 Voices 功能的 6 个技巧:在安静无回声处录制、提前练习、不必追求完美、尽量录长一些(建议至少一分钟)、让嗓音匹配曲风并大胆尝试不同类型。Voices 现已在 Web、iOS 和 Android 上可用,可免费试用,付费计划提供更多功能。
OpenAI 发布实时语音智能体的提示词指南,讲解如何为语音智能体撰写 prompt。内容涵盖 Realtime 2 推理、preambles、工具使用和精确实体捕获。
Suno 发布 v5.5 模型,称其为最具表现力的版本,并推出 Voices、Custom Models 和 My Taste 三项个性化功能。
推荐理由:原文给出 v5.5 的三项新功能细节与订阅限制,读者可以据此判断个性化音乐创作的实际入口。