Drop 1/15: Introducing Joy, a dual-channel conversational dataset. Real, unscripted conversations between two people, each on their own track. Built to teach voice models how people actually talk: when to listen, when to jump in, when to say “hmm”. 100,000 hours. 50,000 speakers. 10 languages.
#语音
Rohan Paul@rohanpaul_aiAI 评分4545
引用Shobhit Banga@shobhitbanga
Amazon ScienceAI 评分4444 Audible 团队用可控 TTS 与 BookLLM 改进有声书语音合成
Audible 技术团队用可控 TTS 合成有声书,通过自然语言语音描述控制对白表达,角色对白区分度在 MUSHRA 测试中提升 3.7 分。其 BookLLM 组件自动识别书中角色并标注对白,在 25 本英西语书籍上角色识别准确率分别为 97% 和 94%。在英西语测试中,十种声音里有八种听感获得统计显著改善。
Sierra:Blog精选AI 评分6060 Sierra 发布 𝜏-Entity 基准,检验语音智能体能否准确采集姓名、电话等实体信息
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Sierra:BlogAI 评分5454 Sierra 推出 𝜏-i18n 语音智能体多语言评测基准并开源
Sierra 发布 𝜏-i18n,将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言,使用统一的航空、零售、电信任务跨语言对比。
IT之家·人工智能AI 评分4949 被盗 iPhone 黑产 AnonyMousKIT 披露:AI 语音钓鱼套取苹果手机密码
网络安全公司 SOCRadar 披露名为 AnonyMousKIT 的网络钓鱼即服务平台,通过邮件、短信、WhatsApp、预录语音与 AI 语音 5 个渠道骗取设备密码、Apple ID 与 2FA 验证码,服务于被盗苹果设备的解锁与转售链条。该平台关联 506 个域名及 168 个店铺品牌,AI 语音钓鱼 200 次呼叫成本 19.24 美元,通话时长中位数 22 秒。
Hugging Face 社区博客精选AI 评分6969 测量语音识别中的基准优化:Hugging Face 新测试揭示 ASR 模型“刷分”现象
Hugging Face 最新研究引入三项测试量化语音识别中的基准优化(benchmaxxing)现象。对 11 个开源 ASR 模型的评估显示,多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本,即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源,导致其得分高估了真实转录能力。
推荐理由:研究把语音识别中的基准优化现象变成可量化检验,三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。
Microsoft Research@MSFTResearchAI 评分4242
Apple Machine Learning ResearchAI 评分5555 Apple 为 Siri Expressive Voices 推出内存高效的音频合成架构
Apple 为 Siri Expressive Voices 推出了一种内存高效的音频合成架构,其 detokenizer 在 AMX 上以约 10ms/步运行,峰值内存仅约 21MB。相比此前设备端系统,该架构将 Mean Opinion Score (MOS) 整体提升 +0.28(4.15 vs. 3.87),对话语音提升 +0.42(4.24 vs. 3.82)。
IT之家·人工智能AI 评分5757 英伟达发布 Audex 统一音频-文本模型,避免多模态扩展后文本能力下滑
英伟达今年6月推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数30B、激活参数3B。骨干为52层混合 Mamba-Transformer 结构的 Nemotron-Cascade-2-30B-A3B,含128个可路由专家、每次激活6个。音频输入经 AF-Whisper 编码后映射到文本嵌入空间,输出词表从131072个 token 扩展至205312个。语音输出采用 X-Codec2(每秒50 token,单层有限标量量化),非语音音频采用 X-Codec(每秒200 token,4层展平残差向量量化)。文本评测方面,Audex 在 MMLU-Redux 得分86.4(骨干86.3),IMO AnswerBench 得分81.1(骨干79.3),MMLU-Pro 与 GPQA-Diamond 小幅下降。
Apple Machine Learning ResearchAI 评分5353 Apple 提出专用小型 seq2seq 模型用于 ASR 纠错
Apple 机器学习研究团队采用紧凑的 seq2seq 模型进行 ASR 纠错,训练数据来自真实和合成音频的 ASR 错误。通过级联 TTS 和 ASR 构建合成语料,关键在于匹配真实错误分布的多样性。模型采用 correction-first 解码,生成候选后利用 ASR 声学分数重新排序。与 LLM 相比,该模型参数少 15 倍,在 LibriSpeech test-clean/other 上分别达到 1.5% 和 3.3% 的词错误率(WER),优于 LLM,并能泛化至 CTC、Seq2seq、Transducer 等多种 ASR 架构,在低错误率场景中提供精确纠错。
Apple Machine Learning ResearchAI 评分4949 连续扩散口语语言模型的缩放性质研究
Apple与Google团队研究连续扩散(CD)口语语言模型(SLM)的缩放性质。CD SLM直接处理连续语音,避免离散化瓶颈。引入音素Jensen-Shannon散度(pJSD)评估语言质量,发现验证损失和pJSD均遵循缩放定律,最优token-to-parameter比率随计算量增加而下降。扩展至16B参数并采用数千万小时对话数据训练后,可生成富有情感、韵律、多说话人、多语言的语音,但长文连贯性仍为显著挑战。
Hugging Face 社区博客精选AI 评分6767 Hugging Face 博客发布语音智能体代码切换基准测试
Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。
推荐理由:如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。
Tencent Hy@TencentHunyuan精选AI 评分6969
推荐理由:过去一年语音和音乐生成很热,但音频编辑还没人正经测过,腾讯这个基准把现状血淋淋地摆出来了,不到5%的准确率意味着整个方向都还在起步期。
Sierra:Blog精选AI 评分6464 τ-voice 发布:面向真实客服场景的实时语音智能体评测基准
τ-voice 是一个针对实时语音智能体的新基准,包含零售、航空和电信领域的 278 项接地气客服任务。该基准将确定性端到端任务评分与可控的真实音频(多样角色、环境噪音、自由轮次切换)相结合。
推荐理由:我觉得这是目前最接近真实客服场景的语音agent基准,278个任务覆盖零售、航空、电信,可控噪声和口音,做语音agent的团队可以直接拿来评测。
Together AI 研究与产品博客精选AI 评分6363 Together AI 发布 SF Streets 基准,揭示语音模型街名转写错误率达 39% 并用跨语言风格迁移降低 60% 错误
Together AI 发布 SF Streets 与 US Streets 两项基准,测试 15 个先进 ASR 模型在街名转写上的表现,发现平均错误率达 39%,非英语母语者准确率比英语母语者低 18 个百分点(46% vs 64%)。
推荐理由:原文用自建基准量化了 ASR 在街名转写上的短板,并给出可复用的合成数据改进方法,对语音部署有直接参考价值。
Hugging Face 社区博客AI 评分5252 Hugging Face 推出 TTS Arena:实战对比文生语音模型
Hugging Face 推出 TTS Arena,一个在真实使用中对比评测文生语音(TTS)模型的基准平台。正文抓取失败,仅标题可用,更多细节以原文链接 https://huggingface.co/blog/arena-tts 为准。