跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

193 条精选近 30 天 10 条共收录 1,391 条

更新

精选归档 · 第 2 页

9月19日周六第 21–40 条
  1. xAI：News64

    xAI 发布 Grok Voice Transcribe 2.0 语音转写模型

    xAI 发布语音转写模型 Grok Voice Transcribe 2.0，称在真实场景评测中准确率是 1.0 的两倍，价格不变，在 Artificial Analysis 榜单 32 个流式模型中准确率排名第一。

    推荐理由：官方给出内部评测与公开榜单数据，并用同价翻倍准确率和定价细节说明升级幅度，适合评估语音转写方案时参考。

9月18日周五
  1. Qwen：Blog Retrieval69

    Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型，LAAL 降至 2.3 秒

    Qwen 发布 Qwen3.8-LiveTranslate，采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译，平均滞后（LAAL）从上一代的 2.8 秒降至 2.3 秒。

    推荐理由：官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果，读者可以据此评估其实时翻译能力的实际变化。

  2. Qwen：Blog Retrieval78

    Qwen 发布原生全模态模型 Qwen3.8-Omni-Flash，主打音视频智能体任务交付

    Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash，支持文本、图像、音频和视频输入及 1M token 上下文窗口，29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%，音频输入每小时价格下降超过 98%，音视频输入每小时价格下降超过 93%。

    推荐理由：官方发布同时开放 API 和开源插件与运行时，读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。

9月16日周三
  1. 蚂蚁 inclusionAI：GitHub 新仓库63

    蚂蚁 inclusionAI 开源 Realtime-Venus 全双工交互系统

    蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus，一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件：Realtime-Venus-Omni（9B，流式音视频对话与主动交互）、Realtime-Venus-Audio（9B，语音交互与音频理解）以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

    推荐理由：蚂蚁和清华开源了全双工对话加异步委托任务的系统，含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时，可直接下载推理或跑浏览器 demo。

9月15日周二
9月11日周五
  1. OpenAI：官网动态70

    OpenAI 在 API 中推出全双工语音模型 GPT-Live-1

    OpenAI 在 API 中发布语音模型 GPT-Live-1，可同时听和说，支持将推理和工具调用委派给 GPT-6 Astra 等后端模型，前端语音层定价为每分钟 $0.05。

    推荐理由：原文给出单模型全双工语音架构、基准变化和定价，读者可以据此评估它能否简化现有语音 Agent 的分层方案。

9月10日周四
9月3日周四
  1. Microsoft AI：官方博客64

    Microsoft AI 发布语音识别模型 MAI-Transcribe-2

    Microsoft AI 发布转录模型 MAI-Transcribe-2，称其在 FLEURS 基准 60 种语言上平均词错率 5.2% 排名第一，并占据 Artificial Analysis 准确率-延迟 Pareto 前沿。

    推荐理由：官方给出具体基准排名、对比速度倍数和定价，读者可以据此评估它对现有语音转写方案的可替换性。

9月1日周二
  1. Meta AI：Research Blog64

    Meta 发布实时音频感知模型 Muse Voice Transcribe

    Meta Superintelligence Labs 发布 Muse Voice Transcribe，称其为首个实时音频感知模型，提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。

    推荐理由：原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明，读者可以了解其实时语音感知的实现方式。

8月29日周六
  1. Hugging Face 社区博客66

    Open ASR 排行榜新增首个全球南方语言：印地语与印度英语评测集

    Voice Arena 与 Hugging Face 合作，为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，覆盖印地语与印度英语，其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割，共 4,888 位说话人，并记录 12 项说话人属性，旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。

    推荐理由：把评测单元从单一 WER 下探到带 12 项说话人属性的分组，能暴露模型在不同地域、口音、设备上的表现差异，让 ASR 选型不再只看平均错误率。

8月28日周五
  1. Google AI：DEV 作者专属74

    Gemini 3.5 Transcribe 完整指南：告别 ASR 转录难题

    Google 推出专用于语音转文字的 Gemini 3.5 Transcribe 模型，主打快速、准确且低成本的转录，原生支持说话人分离和词级毫秒时间戳。该模型支持 85+ 种语言自动识别与代码切换，可通过 custom_vocabulary 传入最多 1,000 个领域术语避免专有名词拼写错误，并提供 Smart Transcription 与 Verbatim 两种模式。

    推荐理由：逐字模式保留毫秒级时间戳和说话人分离，智能模式清理填充词但可能改写原文，两者取舍决定字幕同步和会议记录应选不同配置。

8月27日周四
  1. Google DeepMind：Blog68

    Gemini 3.5 Transcribe 发布：面向实时语音交互的高精度语音转文本模型

    Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型，支持流式与非流式两种 API。据 Artificial Analysis 评测，其流式与非流式平均词错率分别为 4.0% 和 2.6%，支持超 85 种语言、自定义词汇及最多三人说话人识别。

    推荐理由：相较于上一代 Chirp 3，流式词错率降到 4.0% 且最终转录延迟改善 70%，会影响语音代理和实时字幕方案的成本与体验取舍。

8月24日周一
  2. Artificial Analysis 完整文章63

    Artificial Analysis 发布 Speech Agent Arena 评测真实语音智能体表现

    Artificial Analysis 推出 Speech Agent Arena，让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型，以 Preference Elo 和 Task Success Rate 评分。

    推荐理由：原文给出真实任务下语音智能体的偏好与任务成功率两套结果，提示对话好听不等于任务完成。

8月22日周六
  1. FireRedTeam：原创语音与多模态项目64

    FireRedTeam 开源 FireRedAudio 9B 通用音频语言模型

    FireRedTeam 发布 FireRedAudio 的代码与模型，一个基于 9B 参数 LLM 的通用音频语言模型，采用理解与生成解耦的连续表征设计。单模型支持 ASR、音频理解、零样本 TTS、指令 TTS、语义与声学语音编辑，以及最长一小时录音的时序定位理解，在 MMAU、Seed-TTS-Eval 等基准上取得竞争性或领先结果。

    推荐理由：官方发布了代码和权重，读者可以据此了解用一个 9B 骨干同时覆盖语音理解与生成的解耦表征设计。

8月21日周五
  1. Hugging Face 社区博客69

    测量语音识别中的基准优化：Hugging Face 新测试揭示 ASR 模型“刷分”现象

    Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本，即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源，导致其得分高估了真实转录能力。

    推荐理由：研究把语音识别中的基准优化现象变成可量化检验，三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。

8月13日周四