跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

193 条精选近 30 天 10 条共收录 1,392 条

更新

精选归档 · 第 7 页

5月10日周日第 121–140 条
5月9日周六
5月8日周五
  1. OpenAI Developers76

    正在用GPT-Realtime-2构建语音应用? 我们的新提示指南涵盖如何调整推理强度、使用前导说明、设计工具行为、处理不清晰音频、准确捕获实体,以及在长会话中保持状态。 https://developers.openai.com/api/docs/guides/realtime-models-prompting?realtime-model=gpt-realtime-2

    推荐理由:官方出了 Realtime-2 的提示工程指南,从调参到工具调用都给了清晰路径,做语音产品的同学值得认真翻一遍,能省几周摸索时间。

  2. OpenAI:官网动态86

    通过 API 中的新模型推进语音智能

    OpenAI API 推出了新的实时语音模型,能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平,支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具,以构建更流畅、更智能的语音应用体验。

    推荐理由:语音模型不再只是‘听写’,开始能推理和翻译了,OpenAI这次API更新的几个新模型把语音智能推向更实用的阶段,做语音产品的值得赶紧试试。

5月7日周四
  1. OpenRouter72

    1/ 音频现已成为OpenRouter的一等公民。 今日上线两个新端点: 📢 /api/v1/audio/speech — 文本转语音(TTS) 🎤 /api/v1/audio/transcriptions — 语音转文本(SST) 沿用您已在文本、图像和视频中使用的相同路由、计费和密钥。

    推荐理由:OpenRouter 突然把 TTS 和 STT 拉进了统一路由,用同一把 Key 和账单,做多模态 App 的人可以少调一个 API。更新不大,但省事。

  2. IT之家·人工智能72

    用嘴干活:阿里千问 PC 端上线 AI 语音输入功能

    阿里千问在PC端上线AI语音输入功能,用户通过快捷键即可在各类桌面应用中直接使用。该功能不仅支持去除语气词、纠错和格式化整理口语内容,更能基于上下文智能回复,并可直接下达创作、问答、翻译等指令。其设计逻辑超越传统语音打字工具,旨在成为跨应用的AI任务调度中枢:用户通过按住快捷键启动语音输入模式,或双击切换至AI指令模式,可直接派发信息检索、文档生成等任务。该功能覆盖文档编辑、网页浏览、即时通讯等主流办公场景,无需切换客户端或打开额外窗口,目前所有用户可免费使用。

    推荐理由:阿里千问把语音输入做成了跨应用的AI任务调度中枢,按住说话就能直接发指令干活,对办公族来说是个真提效的小功能,值得装上试试。

  3. OpenAI:官网动态72

    Uber 利用 OpenAI 帮助司机更智能地赚钱、乘客更快地叫车

    Uber 宣布在其全球实时交通服务平台中集成 OpenAI 技术,用于驱动 AI 助手与语音功能。新功能旨在帮助司机更智能地规划接单以提升收入,同时让乘客能够更快完成叫车流程。该技术将应用于优化实时供需匹配与用户体验。

    推荐理由:Uber 把 OpenAI 的语音和助手能力搬进了打车场景,这是 AI 真正融入日常服务的一个信号,对做产品的人来说,落地路径比技术参数更重要。

5月5日周二
  1. ElevenLabs:Blog66

    ElevenLabs ARR 突破 5 亿美元,引入 BlackRock、NVIDIA 等新投资者

    ElevenLabs 宣布完成 Series D 第三次交割,新投资者包括 BlackRock、Wellington、D.E. Shaw、Schroders、NVIDIA(via NVentures)、Santander 及 Jamie Foxx、Eva Longoria 等 30 多位创意与体育界人士。

    推荐理由:官方披露 Series D 第三次交割、ARR 从 3.5 亿到 5 亿美元的增长节奏和资金用途,可了解语音 Agent 商业化进展。

  2. OpenAI Developers69

    OpenAI 发布 Realtime Prompting Guide:实时语音智能体提示指南

    OpenAI 发布 Realtime Prompting Guide,指导如何为实时语音智能体编写提示词,涵盖 Realtime 2 推理、前置指令(preambles)、工具调用和精确实体捕获(exact entity capture)等关键功能。该指南旨在帮助开发者更有效地构建和优化基于语音的 AI 交互体验。

    推荐理由:OpenAI官方出的实时语音代理提示指南,把preamble设计和工具调用讲透了,做语音应用的开发者可以直接照着调。

  3. OpenAI:官网动态58

    OpenAI 如何大规模交付低延迟语音 AI

    OpenAI 重建了其 WebRTC 技术栈,以支持实时语音 AI 服务。新系统实现了低延迟、全球规模扩展和无缝的对话轮转。此次重构旨在为 ChatGPT 的语音模式等产品提供更流畅、更自然的实时语音交互体验,解决了大规模部署时面临的延迟与稳定性挑战。

    推荐理由:OpenAI 把语音 AI 的低延迟秘诀摊开了,做实时语音产品的可以看看他们的 WebRTC 优化思路,虽然不太能直接抄,但方向值得参考。

5月2日周六
  1. xAI67

    语音克隆功能现已通过 xAI API 上线! 不到2分钟即可创建自定义语音,或从我们涵盖28种语言的80多种语音库中选择,为您的语音助手、有声读物、视频游戏角色等注入个性化色彩。 http://x.ai/news/grok-custom-voices

    推荐理由:xAI 正式下场语音克隆,2 分钟克隆加 80 多种声音库,API 直接可调,做语音 agent 和有声书的团队得多关注一下,这对 ElevenLabs 们是个不大不小的冲击。

  2. OpenRouter:Announcements63

    面向语音与转录的全新 Audio API

    OpenRouter 正式上线文本转语音和音频转录功能。平台通过两个新的 API 端点,集成了多家供应商的语音合成与音频转录服务。用户现在可以统一调用单一 API,便捷访问多提供商的高质量语音生成与语音转文本能力,无需再为不同服务商单独集成。这简化了开发流程,为应用添加语音交互与内容转录功能提供了更高效的一站式解决方案。

    推荐理由:OpenRouter把语音合成和转录也接进来了,以后做语音应用的开发者可以少对接几个API,这是把‘省事’写进DNA的典型更新。

  3. Sierra:Blog64

    τ-voice 发布:面向真实客服场景的实时语音智能体评测基准

    τ-voice 是一个针对实时语音智能体的新基准,包含零售、航空和电信领域的 278 项接地气客服任务。该基准将确定性端到端任务评分与可控的真实音频(多样角色、环境噪音、自由轮次切换)相结合。

    推荐理由:我觉得这是目前最接近真实客服场景的语音agent基准,278个任务覆盖零售、航空、电信,可控噪声和口音,做语音agent的团队可以直接拿来评测。

5月1日周五
4月29日周三
  1. ElevenLabs:Blog69

    ElevenLabs 推出 AI 音乐发现与创作平台 ElevenMusic

    ElevenLabs 发布 AI 音乐平台 ElevenMusic,将听歌、混音和原创创作整合在同一系统内,现已可在 App 和网页端使用。平台上线时已有超过 4,000 名独立和新兴艺术家在上面创作,并同步推出包含 Danger Twins、Justin Love 等艺人曲目的 Eleven Album Vol. 2,用户可对曲目换风格、调节奏或重新演绎。

    推荐理由:原文给出了平台的核心玩法和创作者收益机制,读者可以了解听歌、混音与创作如何被整合为一条链路。

4月24日周五
  1. xAI:News67

    xAI 发布语音模型 grok-voice-think-fast-1.0,已可通过 API 调用

    xAI 发布旗舰语音模型 grok-voice-think-fast-1.0,现已开放 API,定位客户支持、电话销售等复杂多步语音智能体场景。模型在 τ-voice Bench 排行榜登顶,原生支持 25+ 种语言,可在后台推理而不增加响应延迟;在 Starlink 的实际部署中达到 20% 电话销售转化率、70% 客服自主解决率,单个智能体使用 28 个工具。

    推荐理由:原文给出模型的核心能力设计、τ-voice Bench 排名和 Starlink 实际部署数据,读者可以据此评估其在语音智能体场景的适用性。

  2. 公众号:小米 MiMo83

    小米发布 MiMo-V2.5-TTS 系列与 ASR,覆盖语音合成与识别

    小米正式发布 MiMo-V2.5-TTS Series 与 MiMo-V2.5-ASR,覆盖语音识别与合成两大能力。TTS 系列含三款模型,支持风格指令遵循与音频标签控制,其中 VoiceDesign 可零参考音频生成新音色,VoiceClone 仅需数秒参考音频即可复刻音色;ASR 在中英双语、中文方言、强噪音等场景达业界领先水平。

    推荐理由:把角色演出指令从参数模板简化为导演笔记式的自然语言,对有声剧和游戏NPC等依赖声音塑造的场景,定制成本与表现自由度可能同时改善。

4月23日周四
  1. IT之家·人工智能74

    谷歌确认基于 Gemini AI 的苹果新版 Siri 今年亮相

    谷歌云首席执行官在谷歌Cloud Next 26大会上确认,基于Gemini AI技术构建的新一代苹果Siri将于2026年发布。双方合作源于2026年1月签署的多年期协议,谷歌作为首选云服务商提供核心技术支持。该交易年价值约10亿美元,协议严格限制谷歌接触用户数据以保障隐私。技术层面,苹果正通过知识蒸馏将大型Gemini模型精简为可在iPhone等设备端运行的版本,旨在降低云端依赖并提升响应速度。

    推荐理由:苹果终于把 Siri 大脑换成了 Gemini,每年 10 亿美金的合作不是小打小闹,这代 Siri 可能真的会变聪明。但落地得等一年,做端侧部署的可以盯一下苹果的蒸馏方案。