腾讯混元开源同声传译大模型 Hy-SimulMT,实测效果超主流商用 API
10 月 26 日,腾讯混元发布并开源同声传译大模型 Hy-SimulMT,支持中英语音到语音实时翻译,实测响应时间约 3 秒,低于人类专业译员平均的 4-5 秒。
推荐理由:原文给出实测时延约 3 秒、对比人类同传专家和商用 API 的测评细节,以及 HuggingFace、GitHub 等开源入口,读者可据此评估其在真实同传场景的可用性。
10 月 26 日,腾讯混元发布并开源同声传译大模型 Hy-SimulMT,支持中英语音到语音实时翻译,实测响应时间约 3 秒,低于人类专业译员平均的 4-5 秒。
推荐理由:原文给出实测时延约 3 秒、对比人类同传专家和商用 API 的测评细节,以及 HuggingFace、GitHub 等开源入口,读者可据此评估其在真实同传场景的可用性。
Ollama 宣布支持语音模型,首个上线的是 Gradium 的文本转语音模型 Phonon,目前可用于 macOS,Windows 和 Linux 支持即将推出。
Jack Dorsey 旗下 Block 公司推出全双工语音模型 Dessa,可边说话边收听用户语音,能模拟笑声、停顿、哽咽等情绪表达,完全基于人类语音数据训练,知识来自训练对话数据而无需搭配大语言模型。
Jack Dorsey 旗下 Block 的研究实验室发布语音模型 Dessa,可在单块 NVIDIA GPU 上本地运行,支持全双工对话,能同时说和听。模型完全基于人类语音训练,带有笑声、停顿、哭泣等情感表达,官方称其知识来自对话数据而非搭配大语言模型。该模型可在 MacBook M4 Max 等消费级电脑上运行,目前尚未公开,Block 正招募安全研究员测试。
Block 发布 AI 语音模型 Dessa,称其为首个完全基于人类语音、不含任何文本数据从零训练的模型,直接以音频处理语音而非先转文字,可实时捕捉情绪、讽刺、笑声和停顿。Dessa 支持全双工交流,可在 MacBook Pro M4 Max 本地运行,训练使用单台 NVIDIA GB200 NVL72。该模型尚未公开,团队正招募 AI 安全研究人员测试潜在风险。
NVIDIA 发布开源小语言模型 Nemotron 3.5 Bolt E4B 4GB,基于 Google 的 Gemma 4 E4B 仅用强化学习做后训练、不用 SFT,面向 RTX、Jetson 和 DGX Spark 等本地硬件上的语音助手、游戏 NPC 和机器人。
Jack Dorsey 旗下 Block 发布名为 Dessa 的语音 AI 模型,称其完全从零只用人类对话训练,是真正的语音到语音模型。示例对话显示交互自然但偶有尴尬和错认,团队称其可在 MacBook Pro M4 Max 或更高配置上本地运行,并将向一小群 AI 安全研究者开放早期访问。
Audible 技术团队用可控 TTS 合成有声书,通过自然语言语音描述控制对白表达,角色对白区分度在 MUSHRA 测试中提升 3.7 分。其 BookLLM 组件自动识别书中角色并标注对白,在 25 本英西语书籍上角色识别准确率分别为 97% 和 94%。在英西语测试中,十种声音里有八种听感获得统计显著改善。
面壁智能在 CNCC 2026 期间举办第三届端侧大模型论坛,以"定义端侧通用人工智能"为主题,围绕文本、语音、多模态交互、AI 自进化与智能体五大方向展开。MiniCPM 系列累计下载量突破 6000 万次,17 次登顶 Hugging Face 榜单首位,MiniCPM5-2B 在 AA-Index 4B 以下排名第一。
Gradium(从 Kyutai 分拆的巴黎语音 AI 公司)开源 Phonon 端侧 TTS 模型家族,其中英文 Phonon 31m 为 31M 参数、64.5 MB q8 GGUF,采用 Apache 2.0 许可证,无需 GPU 或云端调用即可在 CPU、手机、树莓派 5 和浏览器上运行。
极米记得 AI 记忆手环 L1 于 10 月 22 日上架,提供黑色、米色配色,售价暂未公布。该产品支持腕上手环与胸前吊坠两种形态自由切换,可全天候 AI 录音并自动记录整理记忆,还支持基于个人记忆的 AI 对话、自动整理纪要与待办提醒,原始音频用完即删、记忆加密存于手机,综合续航 2-5 天。同日极米记得 AI 记忆眼镜 G1 也已上架,功能与手环相近。
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Nirva 完成 2500 万美元 pre-Series A 轮融资,加上今年早些时候的 800 万美元,总融资达 3300 万美元。其首款设备是重约 8 克、续航最长 3 天的吊坠,也可作手链佩戴,通过用户录入的语音样本建模并过滤周围他人声音,只记录佩戴者本人,处理后默认不保留音频和转录。该设备定价 249 美元,11 月开始接受订单,目标年底前发货给早期用户。
IBM 发布开源语音语言模型 Granite Speech 5.0 2B,2B 参数、Apache 2.0 协议,支持 6 种语言的语音转写和 X-to-English 翻译,在 Open ASR Leaderboard 以 5.68% 平均英文 WER 位列开源模型第二,仅次于 Qwen3-ASR-1.7B(5.40%)。
科大讯飞在 1024 开发者节上首发星火语音基座大模型 SparkAudio 1.0,集成机器翻译、语音识别、语义理解等能力,宣称在实时说话人分离、环境理解、音频理解、情绪识别等方面表现卓越。
这篇教程在 Apple M4 的 CPU 上实测 Cactus Compute 的 16.9 MB 语音转写模型 Whistle,用配对说话人聚类 bootstrap 加 Holm 校正与 Whisper tiny 和 base 对比。
Sierra 发布 𝜏-i18n,将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言,使用统一的航空、零售、电信任务跨语言对比。
IBM 发布 Granite Speech 系列三项更新:新模型 granite-speech-5.0-2b,以及更新版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus,均采用 Apache 2.0 许可证。
Grok Bot is now one step closer. Set it as your iPhone's Action Button and press it to talk with Bot.
Mistral AI 发布 Voxtral 3,包含 3 个转录模型、1 个 TTS 模型和基于 LiveKit 的 Voice Agent SDK,全部 4 个模型在 Mistral API 上开放公开预览。
Introducing Voxtral 3: state-of-the-art Transcribe and Speech models powering Mistral’s new voice agents API. 🧵
ElevenLabs 于 10 月 20 日发布两款语音到语音模型 Eleven Realtime。
Professional Voice Clone on HeyGen sounds exactly like you. Upload 30 min to 2 hrs of audio and get a voice no one can tell apart from your own. Every breath, pause, laugh, and accent, preserved. Comment "PVC" for a free month. First 100, web subscriptions only, ends 11/19.
Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,包含语音转文本模型 Voxtral Small Transcribe 3、文本转语音模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK,将听、思考、工具调用和说话整合为单一流式管线。
Introducing Voxtral 3: state-of-the-art Transcribe and Speech models powering Mistral’s new voice agents API. 🧵
Artificial Analysis 评测了 Mistral 发布的 Voxtral 3 语音模型,包括 1 个 TTS 模型和 3 个语音转文本模型。
Mistral 发布 Voxtral 3,包含语音转文本、文本转语音模型和基于 LiveKit 的语音智能体 SDK,将听、推理、工具调用和说话整合为单一实时流式管线,每轮对话可在一秒内完成。
Artificial Analysis 评测了 Mistral 新发布的 Voxtral 3 系列语音模型,包括 1 个 TTS 和 3 个语音转文字模型。
感谢 @atomic_chat_hq 帮助将 Ming-3.0 带入本地 AI 工作流,让开放语音模型更易获取!
Run @AntLingAGI speech models locally 🎙️ Ming-3.0 is 5 open models that talk, listen and write down what you say Its voice model now ranks #1 among open models on Artificial Analysis starting at just 0.5B Run AI models locally -> https://atomic.chat
Day-0 support for Ming-3.0 in vLLM-Omni @AntLingAGI just open-sourced 5 speech models spanning TTS, audio understanding, and ASR — ranging from 0.5B to 126B total parameters (6.5B active). Serve them today with vLLM-Omni. Congrats to the @AntLingAGI team!
感谢 @AdinaYakup 分享 Ming-3.0,帮助更多开发者了解我们五款开源语音模型的可能性!
Ant Group just dropped its new speech and audio models! https://huggingface.co/collections/inclusionAI/ming-30