OpenAI 发布 gpt-realtime 语音模型并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime，并带来 Realtime API 更新。新增能力包括 MCP server 支持、图像输入，以及 SIP 电话呼叫支持。
推荐理由：官方发布明确了语音模型升级和 API 新增能力范围，读者可据此评估对语音应用开发的可用性。
技术方向
语音与音频 最新动态
AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
193 条精选近 30 天 10 条共收录 1,391 条
更新
精选归档 · 第 10 页
OpenAI：官网动态精选AI 评分7373
Mistral AI：News精选AI 评分7272 Mistral 发布开源语音理解模型 Voxtral，提供 24B 与 3B 两个版本
Mistral 发布语音理解模型 Voxtral，含 24B 和 3B 两个版本，均采用 Apache 2.0 许可并可在 Hugging Face 下载，同时上线 API，转录定价每分钟 $0.001 起。
推荐理由：官方发布开源语音理解模型，给出能力细节、基准对比和价格，读者可据此评估是否替代现有 ASR 方案。
OpenMOSS / 复旦NLP / 上海创智 / MOSI精选AI 评分6969 OpenMOSS 开源 MOSS-TTSD-V0 中英双语对话语音生成模型
OpenMOSS 发布并开源 MOSS-TTSD-V0，支持中英双语对话语音生成、零样本双说话人音色克隆、声音事件控制和长语音生成，模型权重、推理代码和 API 全部开源并支持商用。
推荐理由：原文给出训练数据规模、Codec 设计和对比结果，读者可据此评估这个开源对话语音模型的可复用价值。
Sarvam AI精选AI 评分6161 印度政府在 IndiaAI Mission 下选定 Sarvam 构建主权大语言模型
印度政府依据 IndiaAI Mission 选定 Sarvam 从零构建印度主权大语言模型，并提供专属算力资源。模型具备推理能力、面向语音设计并精通印度语言，计划实现大规模安全部署。
推荐理由：官方公告明确了主权模型的三档规格与本土部署定位，可以据此了解印度 AI 基础设施的建设思路。
OpenAI：官网动态精选AI 评分6363 OpenAI 在 API 中推出新一代音频模型
OpenAI 在 API 中推出新一代音频模型。开发者首次可以指示文生语音模型以特定方式说话，例如像有同理心的客服人员那样讲话，为语音 Agent 带来更深层的自定义能力。
推荐理由：原文来自 OpenAI 官方，说明开发者可用自然语言指示语音模型按特定方式说话，语音 Agent 的自定义方式值得关注。
Zyphra Research精选AI 评分7171 Zyphra 发布 Zonos-v0.1 beta 开源 TTS 模型
Zyphra 以 Apache 2.0 许可发布 Zonos-v0.1 beta，包含 1.6B transformer 与 1.6B SSM hybrid 两个实时 TTS 模型，后者是首个开源 TTS SSM 模型。
推荐理由：官方发布了模型权重、API 定价和架构细节，读者可以据此评估开源 TTS 与专有模型的差距与可用性。
FireRedTeam：原创语音与多模态项目精选AI 评分7070 FireRedTeam 开源 FireRedASR 工业级语音识别模型，含 AED 与 LLM 两个变体
FireRedTeam 开源工业级 ASR 模型 FireRedASR，支持普通话、中文方言和英文，在公开普通话 ASR 基准上取得 SOTA，并具备歌词识别能力。
推荐理由：原文给出两个模型变体的架构差异和公开基准 CER/WER 对比数字，读者可据此评估选型。
OpenAI：官网动态精选AI 评分7070 OpenAI 推出 Realtime API，支持构建语音到语音体验
OpenAI 推出 Realtime API，开发者现在可以在应用中构建快速的语音到语音（speech-to-speech）体验。
推荐理由：原文宣布 Realtime API 开放，开发者可以把快速语音到语音体验直接构建进应用。
通义 QwenAudio：原创语音项目精选AI 评分6262 FunAudioLLM 发布 Fun-CosyVoice 3.0 开源语音合成模型
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0，官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0，面向零样本多语言语音合成。
推荐理由：官方发布开源 TTS 新版本，附评测表、安装与部署方式，适合关注多语言语音合成落地的开发者参考。
通义 QwenAudio：原创语音项目精选AI 评分6161 SenseVoice 开源语音理解模型仓库：支持 ASR、情感识别与音频事件检测
SenseVoice 是一个语音理解基础模型，支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语，并输出情感与事件标签；采用非自回归端到端架构，同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由：官方仓库文档同时给出基准对比、部署路径和微调方案，读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
Sam Altman：Blog精选 GPT-4o
OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放，无广告。全新语音（及视频）模式响应速度接近人类，表现力极强，被 Sam Altman 称为「用过最好的计算机界面」，像电影里的 AI。未来还将支持个性化、代操作等功能。
推荐理由：Sam Altman 解读 GPT-4o 发布，强调语音交互与免费策略
Hugging Face 社区博客精选AI 评分6868 Hugging Face 发布 Whisper 多语言 ASR 微调教程
Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别（ASR）微调的分步教程。
推荐理由：完整给出从数据准备到训练和 Gradio 演示的代码流程，仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%，方法可直接迁移到其他语言。
OpenAI：官网动态精选AI 评分7474 OpenAI 开源语音识别模型 Whisper
OpenAI 训练并开源了名为 Whisper 的神经网络，其英文语音识别的稳健性和准确率接近人类水平。
推荐理由：原文来自 OpenAI 官方，点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平，并直接开源。