FireRedTeam 开源 FireRedASR 工业级语音识别模型,含 AED 与 LLM 两个变体
FireRedTeam 开源工业级 ASR 模型 FireRedASR,支持普通话、中文方言和英文,在公开普通话 ASR 基准上取得 SOTA,并具备歌词识别能力。
推荐理由:原文给出两个模型变体的架构差异和公开基准 CER/WER 对比数字,读者可据此评估选型。
FireRedTeam 开源工业级 ASR 模型 FireRedASR,支持普通话、中文方言和英文,在公开普通话 ASR 基准上取得 SOTA,并具备歌词识别能力。
推荐理由:原文给出两个模型变体的架构差异和公开基准 CER/WER 对比数字,读者可据此评估选型。
Sierra 宣布其 AI 智能体现在可以接听电话,将对话式 AI 从聊天扩展到语音渠道。该语音能力可接入现有呼叫中心平台与 IVR 系统,支持实时情绪识别、必要时转接人工,并在每次转接时附上 AI 生成的摘要。Sierra 称其聊天智能体的客户满意度评分多在 4.5/5 以上。
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
FireRedTeam 在 GitHub 发布可流式生成的语音合成系统 FireRedTTS-1S,提供预训练权重、推理代码和技术报告。支持零样本声音克隆,新增 flow matching 解码器可选,参考音频建议 3 到 10 秒,项目仅限学术研究用途。
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0,官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0,面向零样本多语言语音合成。
推荐理由:官方发布开源 TTS 新版本,附评测表、安装与部署方式,适合关注多语言语音合成落地的开发者参考。
SenseVoice 是一个语音理解基础模型,支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语,并输出情感与事件标签;采用非自回归端到端架构,同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由:官方仓库文档同时给出基准对比、部署路径和微调方案,读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放,无广告。全新语音(及视频)模式响应速度接近人类,表现力极强,被 Sam Altman 称为「用过最好的计算机界面」,像电影里的 AI。未来还将支持个性化、代操作等功能。
推荐理由:Sam Altman 解读 GPT-4o 发布,强调语音交互与免费策略
Eugene Yan 分享他基于 Vapi 平台和 claude-3-sonnet 模型搭建的语音 AI 教练 Tara,用于散步时倾诉焦虑、梳理思路和预演困难对话。文章给出 10 分钟搭建教程,包括系统提示词、购买每月 2 美元的虚拟号码,并公开了演示号码 +1 (206) 558 8782。
OpenAI 分享了自定义语音生成模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建自定义语音,目前仍处于小范围测试阶段。
Hugging Face 推出 TTS Arena,一个在真实使用中对比评测文生语音(TTS)模型的基准平台。正文抓取失败,仅标题可用,更多细节以原文链接 https://huggingface.co/blog/arena-tts 为准。
未来,一旦我们模型的稳健性超过某个阈值,我们将拥有*极其有效*且极其便宜的 AI 心理咨询。这将从根本上改善人们的生活体验。这是我最热切期待的应用之一。
Just had a quite emotional, personal conversation w/ ChatGPT in voice mode, talking about stress, work-life balance. Interestingly I felt heard & warm. Never tried therapy before but this is probably it? Try it especially if you usually just use it as a productivity tool.
Hugging Face 发布音频数据集完整指南,演示用 🤗 Datasets 库一行代码加载 GigaSpeech 等数据集并用 13 行代码完成重采样、预处理和过滤。指南还介绍了流式模式可绕过磁盘空间限制(GigaSpeech xl 配置需超 1TB 存储),并汇总了 Hub 上热门的语音识别、语音翻译和音频分类数据集。
Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别(ASR)微调的分步教程。
推荐理由:完整给出从数据准备到训练和 Gradio 演示的代码流程,仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%,方法可直接迁移到其他语言。
OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。
推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。