跳到正文
只看教程#语音
  1. Google Developers Blog65

    Google ADK 教程：用流式工具与响应调度构建永不冷场的语音智能体

    Google Developers Blog 发布教程，讲解如何用开源 ADK 与 gemini-3.8-live 构建不出现冷场的语音智能体，核心是非阻塞工具调用。

    推荐理由：Google 官方教程给出 ADK 非阻塞语音工具的两种模式和实测数字，可迁移到自己的 Gemini Live 语音智能体开发。

  1. Philipp Schmid69

    Philipp Schmid 介绍 Gemini 3.8 TTS 支持通过录制 20 秒语音加同意句复刻个人声音，或用提示词设计完全自定义的语音。通过 API 调用创建后可在任意请求中使用，风格通过 speech_metadata 设置，作者还提供了博客链接和一段可交给智能体的完整操作提示词。

    引用Philipp Schmid@_philschmid

    https://x.com/i/article/2103140786292269056

    推荐理由：原文给出录制片段、API 创建与调用的具体步骤和可复用提示词，方便读者快速试用自己的语音复刻。

  1. Google AI：DEV 作者专属74

    Gemini 3.5 Transcribe 完整指南：告别 ASR 转录难题

    Google 推出专用于语音转文字的 Gemini 3.5 Transcribe 模型，主打快速、准确且低成本的转录，原生支持说话人分离和词级毫秒时间戳。该模型支持 85+ 种语言自动识别与代码切换，可通过 custom_vocabulary 传入最多 1,000 个领域术语避免专有名词拼写错误，并提供 Smart Transcription 与 Verbatim 两种模式。

    推荐理由：逐字模式保留毫秒级时间戳和说话人分离，智能模式清理填充词但可能改写原文，两者取舍决定字幕同步和会议记录应选不同配置。

  1. 公众号：面壁智能65

    独立开发者用 VoxCPM 克隆网红声音，让 AI 终于“会聊天”了

    独立开发者叶小叔用面壁智能开源的 VoxCPM 克隆千万粉丝网红声音，搭建 STT → LLM → VoxCPM（TTS）三段式实时对话管道，TTS 首包延迟不到 1 秒，端到端体感 2 到 3 秒。

    推荐理由：案例的实践价值在于澄清了实时对话 TTS 环节的选择逻辑：中文原生支持与默认参数平衡往往优于盲目追求极致克隆，这一取舍对同类项目具直接参考。

  1. OpenBMB65

    面壁智能 OpenBMB 在 #BuildSmall 黑客松推出 AMNESIAC，一款反向图灵测试交互游戏：玩家需说服 AI 审讯官 A.M.N. 自己是人类。该游戏由 MiniCPM-o 4.5 驱动实时对话与推理，VoxCPM 生成审讯官语音，并结合摄像头面部表情、脉搏信号与响应计时进行多模态审讯。项目已开源至 HuggingFace。

    推荐理由：将摄像头面部信号、语音对话和LoRA角色塑形组合进一个可玩演示，为交互式AI角色提供了比常见聊天机器人更丰富的多模态模板。

  1. OpenRouter：Announcements72

    OpenRouter 新增音频转写 API，支持 Whisper 与 token 计价 STT 模型

    OpenRouter 推出 POST /api/v1/audio/transcriptions 端点，用户可使用同一 API key 将 base64 编码音频发送至该端点，返回 JSON 格式文本与用量对象。

    推荐理由：OpenRouter 把语音转录集成进 API，一份 key 搞定聊天和转写，对已经在用的团队省心不少，这篇教程直接可跑。

  2. Andrej Karpathy78

    Andrej Karpathy分享了一种与LLM协作的有效模式：开启语音输入，进行10分钟左右的自由漫谈，即使内容混乱、意识流式也无妨。他发现LLM擅长从长篇不连贯的语音中重构意图，回应的内容往往比用户最初的思路更清晰，从而减少后续修正次数、提升人机对齐效率。

    推荐理由：Karpathy 这条语音输入 ramble 技巧，比精心写 prompt 更符合人性，读完后你也会想试试。

  1. MarkTechPost72

    Patter SDK 教程：构建餐厅预订电话智能体，支持动态变量、护栏、延迟仪表盘与评估检查

    Patter SDK 发布教程，演示如何构建一个餐厅预订场景的语音智能体工作流。该流程支持动态调用变量、注册可调用工具、应用输出护栏（如PII脱敏、脏话过滤、话题范围限制），并可在无需实时电话凭证的情况下运行脚本化通话模拟。教程还涵盖延迟与成本指标追踪、回归式评估检查，以及将智能体逻辑、工具调用、安全检查和通话模拟整合为单一结构化管线。

    推荐理由：这个教程把 Patter SDK 的语音代理从模拟到部署跑了一遍，代码能直接抄，想上手电话 AI 的开发者可以当样板，不过工具本身还比较新，生态有待验证。

  1. Greg Brockman74

    Greg Brockman 称 GPT-Realtime-2 是全新事物。@per_simmons_ 体验数周后表示，GPT-Realtime-2 是操作系统的未来，仅用语音即可打开应用、搜索网页、编辑 Premiere Pro，设置只需几个提示词且无需编码。视频演示了通过 MCP 连接 Obsidian 以及利用无障碍树控制 Premiere Pro 等功能。

    引用Pat Simmons@per_simmons_

    GPT-Realtime 2 是操作系统的未来。 我已经试验了它几周，不得不说，它真是相当不可思议。 打开应用、搜索网页，甚至在 Premiere 里剪辑。全都只用我的声音完成。 而且只需几个提示就能设置好。 在这个视频里，我会向你展示具体怎么做。 0:00 开场 1:46 什么是 GPT-Realtime 2？ 4:46 设置它（无需编程） 7:53 修复常开麦克风（按键说话） 9:41 演示：搜索网页 11:38 演示：通过 MCP 连接应用（Obsidian） 14:13 演示：控制 Premiere Pro（无障碍树） 18:00 诚实的注意事项 19:00 结尾

    推荐理由：Greg Brockman 转发的这个视频，演示了用语音控制 OS 完成搜索、写笔记、甚至剪辑 Premiere，这不是 demo 动画，是真的可以上手试的教程，让人感觉语音 OS 离现实又近了一步。

  1. LMSYS Blog77

    Boson AI 与 LMSYS 发布基于 SGLang-Omni 的 Higgs Audio v3 TTS 端到端服务

    Boson AI 与 LMSYS 联合推出基于 SGLang-Omni 推理框架的 Higgs Audio v3 TTS 端到端服务。该模型约 4B 参数，基于 Qwen3-4B 骨干，支持 100 种语言（内部评测覆盖 111 种），在 Seed-TTS、CV3、MiniMax-Multilingual 及 Higgs-Multilingual 零样本语音克隆任务中达到单字级 WER/CER。开发者可通过文本内控制标签实时调整情感（20+种）、风格、韵律（语速/音高/停顿）及音效。模型支持流式合成，文本未完整时即可开始生成语音并保持一致性。SGLang-Omni 专为多阶段生成模型设计，统一调度 AR 解码与轻量计算，实现低延迟推理。

    推荐理由：Higgs v3 把多语言和实时可控制整合进一个流式 TTS 模型，SGLang-Omni 为它搭好了多阶段推理的底座，做语音 Agent 的可以直接抄作业，这比多数论文落地快半拍。

  1. Hugging Face 社区博客75

    Nemotron 3.5 ASR：为你的语言、领域或口音进行微调

    Nemotron 3.5 ASR 是一个 600M 参数的多语言流式语音识别模型，单个检查点覆盖 40 种语言-地区（含英、西、德、法、意、日、韩、中、阿拉伯等）。采用 Cache-Aware FastConformer 编码器与 RNNT 解码器，缓存内部状态避免重复计算，实现低延迟流式转录且不损失精度。模型原生输出带标点和大写的生产级文本，无需后处理。支持指定语言（target_lang=es-ES）或自动语言检测（target_lang=auto）。通过注意力上下文大小（att_context_size）可在推理时直接调节延迟-准确率权衡，范围从 80ms 到 1.12s，无需重新训练。模型以 NeMo 检查点形式发布，可用于微调以适配特定语言、领域或口音。

    推荐理由：一个模型搞定40种语言的实时语音转文字，NVIDIA还给了完整微调代码和实测数据，做语音Agent和字幕的可以照着抄作业。

  1. Hugging Face 社区博客72

    Reachy Mini 实现完全本地化语音交互

    Reachy Mini 机器人现可通过 `speech-to-speech` 库实现完全本地化的语音交互，无需依赖云端。该方案采用级联流水线架构，对外提供 Realtime API 兼容的 WebSocket 接口。默认组件包括 Silero VAD 用于语音活动检测、Parakeet-TDT 作为语音转文本模型、通义千问（Qwen3-TTS）作为文本转语音模型。大语言模型推荐使用 llama.cpp 运行 Gemma 4。所有数据均在本地处理，保障了隐私且无 API 费用。

    推荐理由：小众硬件的本地语音实战，但HF这套开源管线证明端到端对话已完全可用，所有组件都可自由替换，想做本地化语音助手的人可以照抄。

  2. Greg Brockman66

    OpenAI Codex 新增了“Meeting Recorder”技能。该技能可使用 GPT Realtime Whisper 端点实时转录会议并显示文本。用户可在转录过程中随时向 Codex 提问。会议结束后，会提供完整的转录内容及格式化版本。此功能基于实时 API，费用为 $0.017/分钟。相关代码与说明可在 GitHub 链接中查看。

    引用Simon Smith@_simonsmith

    你现在可以使用 Codex 实时转录会议，并在会议进行过程中向 Codex 提问！ 我更新了我的新 Codex Meeting Recorder 技能，使其使用 GPT Realtime Whisper。告诉 Codex 使用该技能，它就会开始转录并在预览窗格中显示。你可以在转录生成过程中就转录内容提问。会议结束后，告诉 Codex 结束，你就会得到完整的转录文本和一个格式化版本（格式化版本还需要改进；已在我的待办清单上）。 请注意，由于这使用的是 GPT Realtime Whisper 端点，它比在会议结束时再转录更贵，每分钟 $0.017（所以一场 30 分钟的会议大约 $0.51）。我正在考虑未来添加一个本地实时选项，比如使用 Nemotron Speech Streaming。 GitHub 链接在帖子串中，还有一些说明。

    推荐理由：Greg 转发的这个 Codex 技能把实时会议转录和问答直接塞进了编辑器，0.5 美元一场会，做会议纪要的可以立刻用起来。

  1. OpenAI Developers76

    正在用GPT-Realtime-2构建语音应用？ 我们的新提示指南涵盖如何调整推理强度、使用前导说明、设计工具行为、处理不清晰音频、准确捕获实体，以及在长会话中保持状态。 https://developers.openai.com/api/docs/guides/realtime-models-prompting?realtime-model=gpt-realtime-2

    推荐理由：官方出了 Realtime-2 的提示工程指南，从调参到工具调用都给了清晰路径，做语音产品的同学值得认真翻一遍，能省几周摸索时间。

  1. OpenAI Developers69

    OpenAI 发布 Realtime Prompting Guide：实时语音智能体提示指南

    OpenAI 发布 Realtime Prompting Guide，指导如何为实时语音智能体编写提示词，涵盖 Realtime 2 推理、前置指令（preambles）、工具调用和精确实体捕获（exact entity capture）等关键功能。该指南旨在帮助开发者更有效地构建和优化基于语音的 AI 交互体验。

    推荐理由：OpenAI官方出的实时语音代理提示指南，把preamble设计和工具调用讲透了，做语音应用的开发者可以直接照着调。

  2. OpenAI：官网动态58

    OpenAI 如何大规模交付低延迟语音 AI

    OpenAI 重建了其 WebRTC 技术栈，以支持实时语音 AI 服务。新系统实现了低延迟、全球规模扩展和无缝的对话轮转。此次重构旨在为 ChatGPT 的语音模式等产品提供更流畅、更自然的实时语音交互体验，解决了大规模部署时面临的延迟与稳定性挑战。

    推荐理由：OpenAI 把语音 AI 的低延迟秘诀摊开了，做实时语音产品的可以看看他们的 WebRTC 优化思路，虽然不太能直接抄，但方向值得参考。

  1. Hugging Face 社区博客68

    Hugging Face 发布 Whisper 多语言 ASR 微调教程

    Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别（ASR）微调的分步教程。

    推荐理由：完整给出从数据准备到训练和 Gradio 演示的代码流程，仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%，方法可直接迁移到其他语言。

已经到底了