跳到正文
9月18日周五
  1. Qwen:Blog Retrieval78

    Qwen 发布原生全模态模型 Qwen3.8-Omni-Flash,主打音视频智能体任务交付

    Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。

    推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。

9月16日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库63

    蚂蚁 inclusionAI 开源 Realtime-Venus 全双工交互系统

    蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

    推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。

9月15日周二
9月11日周五
  1. Tibo72

    OpenAI 在 API 中开放 GPT-Live-1,把 ChatGPT 已面向 10 亿用户提供的语音系统带给开发者,支持边说边听、可搭配自选模型与 harness。作者称全双工加工具调用带来很多应用可能,回到纯文本体验会感觉变难。

    引用OpenAI Developers@OpenAIDevs

    GPT-Live-1 is now available in the API. Bring ChatGPT’s natural back-and-forth to your app, with voice agents that listen while they speak and work with the models and harness you choose.

  2. OpenAI:官网动态70

    OpenAI 在 API 中推出全双工语音模型 GPT-Live-1

    OpenAI 在 API 中发布语音模型 GPT-Live-1,可同时听和说,支持将推理和工具调用委派给 GPT-6 Astra 等后端模型,前端语音层定价为每分钟 $0.05。

    推荐理由:原文给出单模型全双工语音架构、基准变化和定价,读者可以据此评估它能否简化现有语音 Agent 的分层方案。

9月10日周四
9月3日周四
  1. Microsoft AI:官方博客64

    Microsoft AI 发布语音识别模型 MAI-Transcribe-2

    Microsoft AI 发布转录模型 MAI-Transcribe-2,称其在 FLEURS 基准 60 种语言上平均词错率 5.2% 排名第一,并占据 Artificial Analysis 准确率-延迟 Pareto 前沿。

    推荐理由:官方给出具体基准排名、对比速度倍数和定价,读者可以据此评估它对现有语音转写方案的可替换性。

9月2日周三
9月1日周二
  1. Meta AI:Research Blog64

    Meta 发布实时音频感知模型 Muse Voice Transcribe

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,称其为首个实时音频感知模型,提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。

    推荐理由:原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明,读者可以了解其实时语音感知的实现方式。

8月27日周四
  1. Google DeepMind:Blog68

    Gemini 3.5 Transcribe 发布:面向实时语音交互的高精度语音转文本模型

    Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型,支持流式与非流式两种 API。据 Artificial Analysis 评测,其流式与非流式平均词错率分别为 4.0% 和 2.6%,支持超 85 种语言、自定义词汇及最多三人说话人识别。

    推荐理由:相较于上一代 Chirp 3,流式词错率降到 4.0% 且最终转录延迟改善 70%,会影响语音代理和实时字幕方案的成本与体验取舍。

8月26日周三
8月25日周二
8月24日周一
  1. Artificial Analysis 完整文章63

    Artificial Analysis 发布 Speech Agent Arena 评测真实语音智能体表现

    Artificial Analysis 推出 Speech Agent Arena,让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型,以 Preference Elo 和 Task Success Rate 评分。

    推荐理由:原文给出真实任务下语音智能体的偏好与任务成功率两套结果,提示对话好听不等于任务完成。

8月22日周六
  1. FireRedTeam:原创语音与多模态项目64

    FireRedTeam 开源 FireRedAudio 9B 通用音频语言模型

    FireRedTeam 发布 FireRedAudio 的代码与模型,一个基于 9B 参数 LLM 的通用音频语言模型,采用理解与生成解耦的连续表征设计。单模型支持 ASR、音频理解、零样本 TTS、指令 TTS、语义与声学语音编辑,以及最长一小时录音的时序定位理解,在 MMAU、Seed-TTS-Eval 等基准上取得竞争性或领先结果。

    推荐理由:官方发布了代码和权重,读者可以据此了解用一个 9B 骨干同时覆盖语音理解与生成的解耦表征设计。

8月13日周四
8月7日周五
  1. 通义 QwenAudio:原创语音项目62

    QwenAudio Toolkits 发布公开预览,打造 Agent 驱动的本地音视频创作工作台

    QwenAudio Toolkits 是一款本地优先的桌面工作台,定位为对话式 Agent 驱动的音视频创作 IDE,首个公开预览支持 Apple Silicon、macOS 14.2 及以上版本。

    推荐理由:官方文档给出了能力清单、支持范围和隐私边界,读者可以据此评估这款本地音频 AI 工作台是否适合自己的创作流程。

8月5日周三
  1. 字节 Seed:Research Feed78

    字节 Seed 发布 SeedRealtime 音视频全双工大模型,走向全模态自然交互

    字节 Seed 发布 SeedRealtime,用统一架构原生融合音频、视频与文本,实现“边看、边听、边说”的实时交互。相比级联模型,其音视频对话节奏问题减少一半,并已在豆包 App 全量上线,率先实现音视频全双工技术的规模化落地。

    推荐理由:SeedRealtime 将音视频感知与表达统一到同一端到端模型中,级联系统常见的说话节奏问题减少了一半,实时场景中能主动提醒并自然停顿,为全模态智能助手交互提供了新的技术路线。

  2. LangChain:Blog64

    如何用 LangSmith 评估语音智能体

    LangChain 官方博客介绍如何用 LangSmith 评估语音智能体,覆盖执行、结果与来电者体验三个层面。评估手段包括 LangSmith traces、代码评估器、LLM judges 和人工审查,帮助开发者系统化验证语音智能体的实际表现。

8月4日周二
8月3日周一
  1. Manus:Blog44

    Manus 上线 ElevenLabs 连接器:一次对话生成语音、转录音频并构建音频应用

    ElevenLabs 连接器已在 Manus 上线,用户通过对话即可生成语音、转录录音、克隆声音并构建音频应用,无需编写代码或管理 API 密钥。该连接器需绑定有效的 ElevenLabs 账户,音频生成与转录均通过 ElevenLabs API 在用户自有账户环境中完成,账单和使用记录仍由 ElevenLabs 管理。可用功能取决于用户的 ElevenLabs 套餐和积分余额。

7月31日周五
7月29日周三
7月27日周一
  1. 通义 QwenAudio:原创语音项目66

    QwenAudio 开源 qwen-audio-agent 实时语音 Agent 运行时

    QwenAudio 开源 qwen-audio-agent,一个让 Agent 保持在线的实时语音运行时,前台对话与后台任务并行,任务结果自动回到当前对话。

    推荐理由:原文给出了前台语音对话加后台 Agent 执行的架构设计与多款后端 Agent 接入方式,读者可据此评估是否接入自己的工作流。

7月24日周五
  1. Tibo48

    OpenAI 将 ChatGPT Voice 功能引入桌面应用,用户可通过语音控制电脑并指挥 ChatGPT Work 或 Codex 中运行的多个 AI 智能体。该功能由 GPT-Live 驱动,支持同时说话、聆听和协调工作。即日起面向 macOS 和 Windows 的 Plus、Pro、Business、Edu 及 Enterprise 用户全球推送。

    引用OpenAI@OpenAI

    ChatGPT Voice is now in the desktop app. Control your computer and direct multiple agents running in ChatGPT Work or Codex, using just your voice. It's powered by GPT-Live, so it can speak, listen, and coordinate work in the app at the same time. Rolling out globally today on macOS and Windows to Plus, Pro, Business, Edu, and Enterprise plans.

7月23日周四
7月22日周三
  1. OpenRouter:Announcements72

    OpenRouter 新增音频转写 API,支持 Whisper 与 token 计价 STT 模型

    OpenRouter 推出 POST /api/v1/audio/transcriptions 端点,用户可使用同一 API key 将 base64 编码音频发送至该端点,返回 JSON 格式文本与用量对象。

    推荐理由:OpenRouter 把语音转录集成进 API,一份 key 搞定聊天和转写,对已经在用的团队省心不少,这篇教程直接可跑。

7月20日周一
  1. 字节 Seed:Research Feed79

    字节跳动发布 Seed Audio 1.0 音频创作模型,统一建模人声与音效实现端到端影视级音频生成

    字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0,在统一框架下联合建模人声、音效和环境声,支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线,多数场景音频可用率达 90% 以上,多语言音频自然度 MOS 超 4 分。

    推荐理由:字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型,它把台词、音效、氛围统一编排,并支持百毫秒级时间线控制,对做视频和出海内容的团队是个立刻能用的创作升级。

7月14日周二
  1. Inception Labs:Blog67

    Inception Labs 发布 Mercury 2:首个在 NVIDIA GPU 上每秒解码超 1000 token 的推理扩散语言模型

    Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型(dLLM),在 NVIDIA H100 上以 1000+ token/秒并行解码,300 token 的推理链可在约 300ms 内完成,适配语音对话延迟预算。

    推荐理由:官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据,语音 Agent 开发者可以据此评估是否能替换现有默认模型。

7月9日周四
  1. OpenAI:官网动态77

    OpenAI 发布 GPT‑Live 新一代全双工语音模型

    OpenAI 今日推出 GPT‑Live,基于全双工架构实现同时听与说,支持自然打断与实时回馈。该模型每秒多次判断是否说话、倾听、打断或调用工具,并将搜索、推理等复杂任务委托给后台 GPT‑5.5,保持对话流畅。即日起向全球 ChatGPT 用户提供 GPT‑Live‑1 和 GPT‑Live‑1 mini 两个版本。人类评估显示,在 5‑10 分钟对话中,GPT‑Live‑1 系列在自然度、轮流、打断等方面显著优于 Advanced Voice Mode;在 GPQA、BrowseComp 和 τ³‑Voice Telecom 基准测试中也表现更强。未来将开放 API。

    推荐理由:GPT‑Live 不是简单的语音版本升级,全双工架构让 AI 终于能同时听和说,加上后台调用 GPT‑5.5,对话体验跨了一大步,做语音应用的产品人该重新思考交互流程了。

7月8日周三