跳到正文
今天10月30日周五1 条
  1. Rohan Paul45

    无脚本通话很难大规模收集。 如今的语音 AI 大多是从 LLM 编写的虚假对话、再由 TTS 朗读出来中学习,所以它从未听过人们互相抢话; 真的很好奇他们是如何让对话持续 10 到 20 分钟的。 他们发布了 Joy,10 万小时的无脚本双人对话,覆盖 10 种语言 https://x.com/shobhitbanga/status/2115862857351061694/video/1

    引用Shobhit Banga@shobhitbanga

    Drop 1/15: Introducing Joy, a dual-channel conversational dataset. Real, unscripted conversations between two people, each on their own track. Built to teach voice models how people actually talk: when to listen, when to jump in, when to say “hmm”. 100,000 hours. 50,000 speakers. 10 languages.

10月23日周五
  1. Amazon Science44

    Audible 团队用可控 TTS 与 BookLLM 改进有声书语音合成

    Audible 技术团队用可控 TTS 合成有声书,通过自然语言语音描述控制对白表达,角色对白区分度在 MUSHRA 测试中提升 3.7 分。其 BookLLM 组件自动识别书中角色并标注对白,在 25 本英西语书籍上角色识别准确率分别为 97% 和 94%。在英西语测试中,十种声音里有八种听感获得统计显著改善。

10月22日周四
  1. Sierra:Blog60

    Sierra 发布 𝜏-Entity 基准,检验语音智能体能否准确采集姓名、电话等实体信息

    Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。

    推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。

8月27日周四
  1. IT之家·人工智能49

    被盗 iPhone 黑产 AnonyMousKIT 披露:AI 语音钓鱼套取苹果手机密码

    网络安全公司 SOCRadar 披露名为 AnonyMousKIT 的网络钓鱼即服务平台,通过邮件、短信、WhatsApp、预录语音与 AI 语音 5 个渠道骗取设备密码、Apple ID 与 2FA 验证码,服务于被盗苹果设备的解锁与转售链条。该平台关联 506 个域名及 168 个店铺品牌,AI 语音钓鱼 200 次呼叫成本 19.24 美元,通话时长中位数 22 秒。

8月21日周五
  1. Hugging Face 社区博客69

    测量语音识别中的基准优化:Hugging Face 新测试揭示 ASR 模型“刷分”现象

    Hugging Face 最新研究引入三项测试量化语音识别中的基准优化(benchmaxxing)现象。对 11 个开源 ASR 模型的评估显示,多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本,即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源,导致其得分高估了真实转录能力。

    推荐理由:研究把语音识别中的基准优化现象变成可量化检验,三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。

8月4日周二
7月29日周三
7月8日周三
  1. IT之家·人工智能57

    英伟达发布 Audex 统一音频-文本模型,避免多模态扩展后文本能力下滑

    英伟达今年6月推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数30B、激活参数3B。骨干为52层混合 Mamba-Transformer 结构的 Nemotron-Cascade-2-30B-A3B,含128个可路由专家、每次激活6个。音频输入经 AF-Whisper 编码后映射到文本嵌入空间,输出词表从131072个 token 扩展至205312个。语音输出采用 X-Codec2(每秒50 token,单层有限标量量化),非语音音频采用 X-Codec(每秒200 token,4层展平残差向量量化)。文本评测方面,Audex 在 MMLU-Redux 得分86.4(骨干86.3),IMO AnswerBench 得分81.1(骨干79.3),MMLU-Pro 与 GPQA-Diamond 小幅下降。

7月6日周一
  1. Apple Machine Learning Research53

    Apple 提出专用小型 seq2seq 模型用于 ASR 纠错

    Apple 机器学习研究团队采用紧凑的 seq2seq 模型进行 ASR 纠错,训练数据来自真实和合成音频的 ASR 错误。通过级联 TTS 和 ASR 构建合成语料,关键在于匹配真实错误分布的多样性。模型采用 correction-first 解码,生成候选后利用 ASR 声学分数重新排序。与 LLM 相比,该模型参数少 15 倍,在 LibriSpeech test-clean/other 上分别达到 1.5% 和 3.3% 的词错误率(WER),优于 LLM,并能泛化至 CTC、Seq2seq、Transducer 等多种 ASR 架构,在低错误率场景中提供精确纠错。

  2. Apple Machine Learning Research49

    连续扩散口语语言模型的缩放性质研究

    Apple与Google团队研究连续扩散(CD)口语语言模型(SLM)的缩放性质。CD SLM直接处理连续语音,避免离散化瓶颈。引入音素Jensen-Shannon散度(pJSD)评估语言质量,发现验证损失和pJSD均遵循缩放定律,最优token-to-parameter比率随计算量增加而下降。扩展至16B参数并采用数千万小时对话数据训练后,可生成富有情感、韵律、多说话人、多语言的语音,但长文连贯性仍为显著挑战。

6月27日周六
6月10日周三
  1. Hugging Face 社区博客67

    Hugging Face 博客发布语音智能体代码切换基准测试

    Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。

    推荐理由:如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

6月8日周一
5月2日周六
  1. Sierra:Blog64

    τ-voice 发布:面向真实客服场景的实时语音智能体评测基准

    τ-voice 是一个针对实时语音智能体的新基准,包含零售、航空和电信领域的 278 项接地气客服任务。该基准将确定性端到端任务评分与可控的真实音频(多样角色、环境噪音、自由轮次切换)相结合。

    推荐理由:我觉得这是目前最接近真实客服场景的语音agent基准,278个任务覆盖零售、航空、电信,可控噪声和口音,做语音agent的团队可以直接拿来评测。

2月23日周一
  1. Together AI 研究与产品博客63

    Together AI 发布 SF Streets 基准,揭示语音模型街名转写错误率达 39% 并用跨语言风格迁移降低 60% 错误

    Together AI 发布 SF Streets 与 US Streets 两项基准,测试 15 个先进 ASR 模型在街名转写上的表现,发现平均错误率达 39%,非英语母语者准确率比英语母语者低 18 个百分点(46% vs 64%)。

    推荐理由:原文用自建基准量化了 ASR 在街名转写上的短板,并给出可复用的合成数据改进方法,对语音部署有直接参考价值。

2024年2月27日周二