Google DeepMind 发布实时交互世界模型 Genie 4
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。
推荐理由:官方完整说明了 Genie 4 的实时交互、原生音频和与 Gemini 协作机制,也坦陈当前在长时一致性和物理精度上的局限。
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Google Developers Blog 发布教程,讲解如何用开源 ADK 与 gemini-3.8-live 构建不出现冷场的语音智能体,核心是非阻塞工具调用。
推荐理由:Google 官方教程给出 ADK 非阻塞语音工具的两种模式和实测数字,可迁移到自己的 Gemini Live 语音智能体开发。
蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-tts,包含 0.5b dense 和基于 Ling V3 的 tiny(7.9B 总参数、1.3B 激活)两个语音生成模型,MIT 协议开源,权重可在 Hugging Face 和 ModelScope 下载。
推荐理由:官方仓库给出两版模型的榜单名次、完整任务列表和部署细节,读者可据此评估其在多语言与副语言控制上的实际可用性。
xAI 发布 speech-to-speech 模型 Grok Voice 3.0,在 Artificial Analysis 的 Speech-to-Speech Index 以 86.9 分排名第一,时延低于一秒。
推荐理由:官方发布给出多项第三方基准分数、时延和 API 定价,读者可以据此评估它在语音智能体场景的性价比。
Suno 推出 Speech 公测版,称为首个能把人声和原创背景音乐作为一条完整音轨共同生成的音频模型。用户在 Suno 内输入一段文字并描述声音和音乐风格,即可生成配乐朗读等口语音频。此前 Speech 已在小范围用户中测试一个月,官方提醒 beta 阶段可能出现口音漂移、停顿过度等瑕疵,后续将根据社区反馈持续改进。
推荐理由:Suno 官方宣布 Speech 进入公测,说明语音与配乐可合成同一音轨,读者可以据此评估新的创作场景。
ElevenLabs 完成 3 亿美元员工 tender offer,估值达 220 亿美元,是 2026 年 2 月 Series D 估值的两倍,由 Wellington 和 T. Rowe Price 领投。企业业务占收入 55%,ElevenAgents 每周处理超 1500 万次对话,ARR 自 2 月以来增长超 3 倍,客户语音智能体解决问题平均比聊天智能体快 31%。
推荐理由:原文给出 ElevenLabs 估值翻倍至 220 亿美元的关键经营数字和 ElevenAgents 增长细节,可据此了解企业级语音智能体市场的实际进展。
Inception Labs 推出面向语音智能体的扩散大语言模型 Mercury Voice,面向企业客户开放。
推荐理由:原文给出具体的延迟、基准和定价数据,读者可以据此评估扩散语音模型在实时语音智能体场景的取舍。
ElevenLabs 发布语音合成模型 Eleven v4 及低延迟变体 Eleven v4 Turbo。
推荐理由:官方完整披露了新 TTS 模型的情绪控制、延迟数字、多语言和克隆能力,读者可据此评估是否切换现有语音方案。
Meta 在 Connect 2026 宣布将个人 AI 智能体 Muse 带入 AI 眼镜,并新增 Walmart、Sephora、GitHub、Instacart 等更多 connectors,Muse 还将拥有自己的邮箱地址。
推荐理由:原文汇总了 Muse 上眼镜、VR Glasses、新款 AI 眼镜及听力辅助等多项发布细节,可了解 Meta 硬件与个人智能体的落地节奏。
我们听到了你们的声音,非常清楚。ChatGPT Voice 现在可以: - 使用你的电子邮件、日历和 Slack 等插件。 - 由 GPT-6 Astra、Sol 和 Luna 提供支持。 - 在网页端和移动端的 ChatGPT Work 中使用,这样你只需开口说话,就能在浏览器中创建文档、演示文稿、网站和电子表格,或处理复杂任务。 今天起在最新版应用中面向全球逐步推出。
推荐理由:OpenAI 官方更新清晰列出语音功能的能力范围和开放时间,读者可以据此判断语音入口是否值得纳入日常工作流。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示词从零设计声音、30 秒样本复刻声音,并提供逐行表演指导、长时音频生成和双说话人场景编排,覆盖 100 多种语言。
推荐理由:官方介绍了两款 TTS 模型的能力细节、评测名次和开放入口,开发者可以据此评估语音生成工作流的选型。
Meta 发布 Muse Realtime Avatar,将 Muse Realtime Voice 的语音流实时转化为带表情、手势和全身动作的交互化身,可基于参考图像驱动人像、插画、动物或日常物品。
推荐理由:原文给出了蒸馏方案、延迟数字和与商业系统的对比结果,读者可以据此评估其实时化身生成的技术路线和落地水平。
Google 宣布 Gemini 3.8 Flash TTS(gemini-3.8-flash-tts)和 Gemini 3.8 Flash-Lite TTS(gemini-3.8-flash-lite-tts)正式可用,并发布 Gemini API Voices 端点(/v1beta/voices)。
推荐理由:官方更新日志列出了两个 TTS 模型定位差异和 Voices 端点能力,读者可据此选择替换现有语音方案。
Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。
推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。
xAI 发布语音转写模型 Grok Voice Transcribe 2.0,称在真实场景评测中准确率是 1.0 的两倍,价格不变,在 Artificial Analysis 榜单 32 个流式模型中准确率排名第一。
推荐理由:官方给出内部评测与公开榜单数据,并用同价翻倍准确率和定价细节说明升级幅度,适合评估语音转写方案时参考。
Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。
推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。
蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。
推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两个近实时语音对话模型,主打语音智能体和复杂任务执行。
推荐理由:原文给出两个语音对话模型的定位分工和多项基准数字,读者可以据此评估其推理、成本与工具调用能力。
OpenAI 在 API 中发布语音模型 GPT-Live-1,可同时听和说,支持将推理和工具调用委派给 GPT-6 Astra 等后端模型,前端语音层定价为每分钟 $0.05。
推荐理由:原文给出单模型全双工语音架构、基准变化和定价,读者可以据此评估它能否简化现有语音 Agent 的分层方案。