OpenAI 推出 Realtime API,支持构建语音到语音体验
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
FireRedTeam 在 GitHub 发布可流式生成的语音合成系统 FireRedTTS-1S,提供预训练权重、推理代码和技术报告。支持零样本声音克隆,新增 flow matching 解码器可选,参考音频建议 3 到 10 秒,项目仅限学术研究用途。
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0,官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0,面向零样本多语言语音合成。
推荐理由:官方发布开源 TTS 新版本,附评测表、安装与部署方式,适合关注多语言语音合成落地的开发者参考。
SenseVoice 是一个语音理解基础模型,支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语,并输出情感与事件标签;采用非自回归端到端架构,同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由:官方仓库文档同时给出基准对比、部署路径和微调方案,读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放,无广告。全新语音(及视频)模式响应速度接近人类,表现力极强,被 Sam Altman 称为「用过最好的计算机界面」,像电影里的 AI。未来还将支持个性化、代操作等功能。
推荐理由:Sam Altman 解读 GPT-4o 发布,强调语音交互与免费策略
OpenAI 分享了自定义语音生成模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建自定义语音,目前仍处于小范围测试阶段。
OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。
推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。