OpenRouter 教程:用 Python 构建语音 AI 餐厅订座智能体
OpenRouter 发布教程,用 Python 构建一个餐厅订座语音智能体,串起语音转文字、带工具调用的 LLM 和文字转语音三段流水线,共用一个 OpenRouter API key。
推荐理由:OpenRouter 官方实测数据,读者可据此了解语音智能体的延迟构成、成本分布和各模型选型差异。
技术方向
AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
9 条精选近 30 天 3 条共收录 71 条
OpenRouter 发布教程,用 Python 构建一个餐厅订座语音智能体,串起语音转文字、带工具调用的 LLM 和文字转语音三段流水线,共用一个 OpenRouter API key。
推荐理由:OpenRouter 官方实测数据,读者可据此了解语音智能体的延迟构成、成本分布和各模型选型差异。
Google 在 Google AI Edge Gallery 中新增端侧 ASR 与 TTS 能力,可完全离线运行。Android 端 ML Kit 支持 100+ 语言转写,速度达 10 倍实时,FLEURS 词错率 8.0% 至 9.0%;TTS 约 100 ms 起播,以最高 50 倍实时速度合成 24 kHz 音频,APK 零增加。
推荐理由:官方给出端侧 ASR 与 TTS 的具体指标和三条接入路径,开发者可据此评估把语音能力加入本地 AI 应用的方案。
Zyphra 发布 ZONOS3-Mini,一个零样本语音克隆 TTS 模型,采用稀疏 MoE 架构,1 亿活跃参数、8 亿总参数,Apache 2.0 许可,在 112 块 NVIDIA H100 上训练 2.5 天。
推荐理由:原文给出参数规模、端侧延迟数字和 ZTTS2-Eval 排名,开源权重与多端运行时可帮助读者评估实际部署成本。
Suno 推出 Speech (beta),官方称其为首个能将语音与原创背景音乐作为一轨完整生成的音频模型。用户在 Suno 中输入文字并描述音色与音乐风格即可创作,此前已小范围测试一个月,现面向所有用户开放 beta。
推荐理由:官方公布了 Speech 的使用方式和已知局限,读者可以据此判断口播配乐创作能否融入现有工作流。
Google 开发者团队介绍如何用 Gemini Live API 构建可实时对话、可被打断的语音 Agent,架构包括浏览器客户端、Gemini Live API 和基于 google-genai SDK 的 Python 后端,通过 WebSocket 保持双向音频连接。
推荐理由:官方教程讲解了 Gemini Live API 双向音频架构和降低打断延迟的本地缓冲技巧,读者可以直接照做复用。
Suno 发布新一代音乐模型 v6,与 Warner Music Group、BMG 和 Believe 等行业伙伴合作开发,包含 v6、v6-wild 和 v6-mini 三款模型,分别面向精准创作、风格探索和免费快速生成。v6 支持用自然语言编辑歌曲片段、混搭多来源素材、采样构建节拍,以及从文本、音频、图片和视频生成音乐,上线后将逐步替换旧模型。
推荐理由:原文出自 Suno 官方,给出 v6 三款模型的定位差异和新编辑能力,读者可以对照自身创作需求选择版本。
Suno 发布 Studio 2.0,面向音乐创作者带来更深度的制作控制,现已向 Premier 订阅用户开放。新功能包括在时间线上导入、录制和编辑 MIDI 并配合新的 wavetable 合成器,MIDI 片段还可作为音频生成的提示;Chat bar(beta)支持用对话方式创建乐器、人声和自定义插件,上线期间创建插件不消耗 credits。
推荐理由:官方列出 MIDI、Chat、分轨分离等具体新能力与订阅门槛,音乐创作者可据此评估是否升级工作流。
Zyphra 发布开源实时语音合成模型 ZONOS2,采用 MoE 架构,总参数 8B、激活参数 900M,Apache 2.0 许可,称其为首个开源 MoE TTS 模型。
推荐理由:官方同时放出权重、推理代码和自建评测集,还解释了 WER 与克隆保真度的权衡,读者可据此评估其语音克隆路线。
Suno 发布 v5.5 模型,称其为最具表现力的版本,并推出 Voices、Custom Models 和 My Taste 三项个性化功能。
推荐理由:原文给出 v5.5 的三项新功能细节与订阅限制,读者可以据此判断个性化音乐创作的实际入口。