AI 合成语音被用于 swatting 假报警,911 调度中心应对难度加大
NPR 报道美国多地学校遭遇 AI 合成语音实施的 swatting 假报警,加州 Yuba County 一所学校因此停课。APCO 与 Public Safety Threat Alliance 6 月发布的调查显示,约 14% 的调度员表示曾被使用 AI 工具的假报警针对。NENA 官员指出此类电话通常不直拨 911,APCO 正在制定细粒度提问的训练标准,以识别 AI 难以应答的问题。
NPR 报道美国多地学校遭遇 AI 合成语音实施的 swatting 假报警,加州 Yuba County 一所学校因此停课。APCO 与 Public Safety Threat Alliance 6 月发布的调查显示,约 14% 的调度员表示曾被使用 AI 工具的假报警针对。NENA 官员指出此类电话通常不直拨 911,APCO 正在制定细粒度提问的训练标准,以识别 AI 难以应答的问题。
DeepL 推出 Aure 语音模型,在 DeepL Voice 实时翻译中把原说话人的语气、情绪、强调和语速带入目标语言,取代此前仅依赖开场静态声音采样的做法。
据彭博社报道,字节跳动计划在未来几周内推出一款类似 Meta Muse 的 AI 助手,巩固其在 AI 视频生成领域的优势。
DeepL 于 11 月 11 日推出语音 AI 翻译模型 Aure,官方称其为迄今最具动态感、最逼真的 Voice AI 模型,暂不支持中文。作为 DeepL Voice 的底层核心,Aure 可实时复现说话者的语气起伏、情绪流转、重音及语速,并建立在近期推出的声音保留技术之上。模型已支持网页会议版、面对面交谈版和语音 API,首发覆盖英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语及韩语。
Spotify 为 AI DJ 推出可自定义的声音与个性选项,Premium 用户可在英语和西班牙语的多种声音中选择,包括 7 种英语口音(英、美、爱尔兰、澳、印度)和 2 种新的西班牙语声音(Nico、Fabi)。
Meta 宣布将 AI 智能体 Muse 带到 Apple Watch 和 Android 的 Wear OS,用户可在智能手表上通过语音通话、短信或口述与 Muse 交互。此前的 9 月 Muse 已登陆 App Store,一个月前还推出了 iPad 版。上线不久后,Muse 成为 40 天内美国下载量突破 1000 万的仅有的 12 款移动应用之一。
Fish Audio 发布面向实时语音 Agent 的全双工语音模型 Live 3,可在说话的同时持续监听,把话轮切换从流水线规则移入语音模型。短反应最快 186 ms 开始响应,支持 Fish Agent Platform、Fish Audio API 和企业本地部署,促销价 $0.035/分钟(2026 年 12 月 31 日前),此后 $0.07/分钟,目前仅支持英语且未发布基准分数。
Zyphra 发布开源 TTS 模型 ZONOS3-Mini,为稀疏 MoE 架构,总参数 800M、每 token 约 100M 激活,权重采用 Apache 2.0,支持零样本声音克隆和词级控制。
OpenRouter 发布教程,用 Python 构建一个餐厅订座语音智能体,串起语音转文字、带工具调用的 LLM 和文字转语音三段流水线,共用一个 OpenRouter API key。
推荐理由:OpenRouter 官方实测数据,读者可据此了解语音智能体的延迟构成、成本分布和各模型选型差异。
Google 在 Google AI Edge Gallery 中新增端侧 ASR 与 TTS 能力,可完全离线运行。Android 端 ML Kit 支持 100+ 语言转写,速度达 10 倍实时,FLEURS 词错率 8.0% 至 9.0%;TTS 约 100 ms 起播,以最高 50 倍实时速度合成 24 kHz 音频,APK 零增加。
推荐理由:官方给出端侧 ASR 与 TTS 的具体指标和三条接入路径,开发者可据此评估把语音能力加入本地 AI 应用的方案。
Zyphra 发布 ZONOS3-Mini,一个零样本语音克隆 TTS 模型,采用稀疏 MoE 架构,1 亿活跃参数、8 亿总参数,Apache 2.0 许可,在 112 块 NVIDIA H100 上训练 2.5 天。
推荐理由:原文给出参数规模、端侧延迟数字和 ZTTS2-Eval 排名,开源权重与多端运行时可帮助读者评估实际部署成本。
Meta 在 Muse 应用的移动端、网页端和 Mac 上推出实时语音对话,点击右上角电话图标即可开始通话。语音模式支持边说边完善旅行规划、面试和演讲排练等场景;头像会随对话语气做出细微表情和手势,提供仅语音、侧边头像和全屏三种显示方式,另有数百种可选声音。本次功能先在美国推出,AI Glasses 和 Muse Charm 上的语音对话即将到来。
Gradium 团队在 Phonon 开放两周后复盘这次发布,介绍这款在设备本地运行、无需网络和服务器的小型 TTS 模型。
Armin Ronacher 介绍在游戏中使用 Qwen3-TTS 制作自定义旁白声音的实测经验,覆盖 Base、CustomVoice 和 VoiceDesign 三种模型的差异与用法。
PyTorch 团队将多语言流式 ASR 模型 Nemotron 3.5 通过 ExecuTorch 部署到 Google Pixel 11,评估 chunk 大小与量化精度对流式识别质量和延迟的影响。
Audible 技术团队展示可控 TTS 方案,利用自然语言语音描述和大语言模型的文本理解能力解决有声书中旁白与角色对白难以区分的问题。
Sierra 推出 𝜏-Entity 基准,用 200 个任务、10 类实体测试语音智能体能否正确捕捉并修复姓名、电话、地址、邮箱等细节。GPT Live 1 常规通话正确率 60.3%,但三种条件全部通过仅 34.0%;预设验证策略可将通过率提升 14–31 个百分点,代价是每次通话多 21–28 秒,且被验证的初始错误中只有 24–37% 最终被纠正。
Sierra 推出 𝜏-i18n,将 𝜏-Voice 语音智能体评测扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,任务、策略与成功标准保持不变以便跨语言比较。
Mistral 发布 Voxtral 3,包含语音转写与 TTS 模型以及基于 LiveKit 的语音智能体 SDK,将听、推理、工具调用和说话整合为单一实时流式管线。
LiveKit 发布生产级 AI 语音智能体构建指南,围绕自然对话、生产观测和可靠扩缩三大问题给出经验建议。要点包括单独测量首响应延迟、用 turn detector 处理轮次与打断、异步调用耗时工具,客户从 GPT-4.1 换到 Gemma 4 31B 在 p50 上省了 300–500ms;还建议为 STT、LLM、TTS 各阶段配置 fallback,并在上线前算清单次对话成本。
Apple 发布新一代 Apple TV 4K(第四代),主打由下一代 Apple Intelligence 驱动的 Siri AI 全屏对话体验,内置三个远场麦克风支持免提语音控制。
Sierra 发布 fleming-1 模型,实时分析来电语音并评分,判断对方是否为 AI 生成的合成语音,并标记疑似 AI 来电,模型默认调校偏保守以避免误标真人。该模型配合此前宣布的 Personal Agent Protocol 开放标准使用,适用于任何基于 Sierra 构建的语音智能体,开启后即可使用。
Serve AI 用 LiveKit Agent Simulations 验证并将其客服语音智能体从 Retell 的 224 节点流程图迁移为单提示词架构。团队用约 100 条真实生产通话生成模拟场景,经 10-15 轮迭代达到 98% 通过率、中位轮次延迟 1.3 秒(上限 1.5 秒),首个账户迁移仅一周且无需回滚。
LiveKit 宣布 Agent Simulations 面向所有 LiveKit Cloud 项目正式可用,用 LLM 驱动的模拟用户在任务级测试语音智能体,并由 LLM judge 依据自由格式预期给出通过或失败判定。
ElevenLabs 语音模型接入 OpenRouter,提供 9 个 Text to Speech 模型和 2 个 Speech to Text 模型,用户用 OpenRouter API key 调用 /api/v1/audio/speech 和 /api/v1/audio/transcriptions 即可,无需单独的 ElevenLabs 计划。
Sierra 在旧金山举办 Sierra Summit 2026,宣布旗下 Agent OS 新增两款模型:Curie 负责对话核心编排,Fleming 可识别来电者是另一个 agent。
LiveKit 博客从四个问题出发,对比 Retell、Vapi 与 LiveKit 三个语音 AI 智能体平台的差异:上线后由谁迭代、超出默认能力怎么办、是否支持电话之外的渠道,以及规模化成本。
Suno 推出 Speech (beta),官方称其为首个能将语音与原创背景音乐作为一轨完整生成的音频模型。用户在 Suno 中输入文字并描述音色与音乐风格即可创作,此前已小范围测试一个月,现面向所有用户开放 beta。
推荐理由:官方公布了 Speech 的使用方式和已知局限,读者可以据此判断口播配乐创作能否融入现有工作流。
Google 开发者团队介绍如何用 Gemini Live API 构建可实时对话、可被打断的语音 Agent,架构包括浏览器客户端、Gemini Live API 和基于 google-genai SDK 的 Python 后端,通过 WebSocket 保持双向音频连接。
推荐理由:官方教程讲解了 Gemini Live API 双向音频架构和降低打断延迟的本地缓冲技巧,读者可以直接照做复用。
LiveKit 博客发布指南,从架构、采用度、开发体验和生产就绪度对比 LiveKit Agents 与 Pipecat 两大开源语音视频 Agent 框架。核心差异是 LiveKit Agents 构建在高抽象的会话模型上并绑定自家 WebRTC/SIP 服务器,Pipecat 则让开发者自选 transport 并逐级组装 pipeline,适合非对话式或并行分支场景。
Descript 发布 2026 年 9 月 17 日功能汇总,字幕新增 18 个预设和 10 种文本动画,AI 可按描述生成背景音乐与音效,需更新至 145.0.15 或更高版本。
Google 官宣其语言技术已支持超过 300 种语言、覆盖全球 86% 人口,并介绍 Gemini 3.5 Live Translate 支持 70 种语言、2,000+ 语言对的实时口译。
Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG 和 Believe 等行业伙伴合作开发,包含 v6、v6-wild 和 v6-mini 三款模型,分别面向精准创作、风格探索和免费快速生成。v6 支持用自然语言编辑歌曲片段、混搭多来源素材、采样构建节拍,以及从文本、音频、图片和视频生成音乐,上线后将逐步替换旧模型。
推荐理由:原文出自 Suno 官方,给出 v6 三款模型的定位差异和新编辑能力,读者可以对照自身创作需求选择版本。
LiveKit 发文解释语音智能体日志中「inference is slower than realtime」警告:它与所用 STT、TTS、LLM 模型无关,而是智能体进程内的 VAD 模型未能在 32ms 内处理完每 32ms 音频窗口,警告中的 delay 表示 VAD 落后实时音频的距离,Python 按秒、Node.js 按毫秒报告。
Suno 宣布与音乐公司 Believe 及其自助发行平台 TuneCore 达成全球战略合作。使用 Suno 新行业伙伴模型创作的歌曲将可通过 Believe 和 TuneCore 发行至 Spotify、Apple Music 等平台。
LiveKit 发布语音 Agent 的非生产部署功能,让 Agent 在同一项目、同一镜像、同一套 secrets 下以不同名称运行,一条命令即可创建,用 --deployment 标志即可指定目标。
LiveKit 发布 Connectors,将 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话以普通参与者形式接入 LiveKit 房间,无需部署 SIP trunk 或网关。
LiveKit 博客讲解语音智能体对 "yes"、"no" 这类短回复失去响应的排查方法,核心是 turn 闭合需要 final_transcript 和 end_of_speech 两个事件。文中逐项分析 STT 缺失最终转录、endpointing 设置过激或过松、噪声消除误删用户音频、SIP 通话质量差和 backchannel 被误判为打断等根因,并给出对应修复方案与按序诊断清单。
LiveKit 宣布自本月起对 agent 会话分钟数与录制、WebRTC 连接、SIP 连接改为按秒计费,最小计费增量 10 秒,让账单更贴近实际用量。该变更适用于包括企业合同在内的所有计划,已对现有客户生效,将于 9 月账单反映 8 月用量。此举主要解决外呼场景中通话常只有数秒却按分钟计费的错配问题,且不涉及面向客户的技术改动。
LiveKit 为 Agent Observability 推出 PII Redaction 功能,在录音和转写存储前自动脱敏 41 类、10 组个人敏感信息,对所有 LiveKit Agent Observability 客户免费开放。