xAI 发布 Grok Voice Transcribe 2.0 语音转写模型

今天我们发布 Grok Voice Transcribe 2.0，这是我们最新的语音转文字模型。在我们的真实世界评估中，Grok Voice Transcribe 2.0 是当今可用的最准确的转录模型之一，准确率是 Grok Voice Transcribe 1.0 的两倍，而价格相同。

Grok Voice Transcribe 2.0 构建在支撑 Grok Voice 的音频基础模型之上。Grok Voice 每天已经为数万通客户支持通话提供支持，转录数百万小时的视频旁白，并在实体产品中运行语音代理，包括 Tesla 车辆中的 Grok 助手。它在一个独特的数据集上训练，该数据集由在多样化环境中录制的真实、嘈杂、多语言音频组成，并通过后训练进行优化。

其结果是在真实世界环境中用于语音的最准确的转录模型之一。

准确率

大多数转录模型在干净的单说话人音频上表现良好。真实世界的音频更难：不稳定的电话线路、相互竞争的人声、地方口音，以及朗读出来的电话号码或电子邮件地址。我们为跨条件和环境的最难音频构建了 Grok Voice Transcribe 2.0。

在公开的 Artificial Analysis 排行榜上，Grok Voice Transcribe 2.0 在 32 个流式模型中准确率排名第一。

准确率与价格

越靠上、越靠右越好。

来源：

Artificial Analysis

内部评估

除公开基准外，我们还测量来自生产流量的四个内部数据集的词错误率：客户支持通话的电话音频、与 Grok 的对话、朗读的凭证信息（如账号和电子邮件地址），以及简短的多语言语音命令。Grok Voice Transcribe 2.0 在这四个数据集上均优于 Grok Voice Transcribe 1.0，并且在电话音频上领先于我们测试的每一个模型。

电话音频（8 kHz）

客户支持通话 · 英语

对话

与 Grok 的对话 · 英语

凭证

电话号码、电子邮件、地址 · 英语

短句

语音助手话语 · 19 种语言

多语言

Grok Voice Transcribe 2.0 可转录数十种语言，自动检测语言，并在单次处理中跟随录音中途的语言切换。多语言准确率是它相较 Grok Voice Transcribe 1.0 的最大改进。

Grok Voice Transcribe 2.0

Grok Voice Transcribe 1.0

ElevenLabs Scribe v2

Deepgram Nova-3

诸如车载命令之类的短句给模型用于识别语言的上下文很少。在我们的短句数据集上，词错误率从 20.6% 降至 6.8%。

功能

Grok Voice Transcribe 2.0 支持高级配置和控制。现有的 Speech-to-Text API 集成无需更改代码即可获得准确率提升：

• 批量和流式。 转录录制的文件和 URL，或实时转录音频流。
• 词级时间戳。 每个词都有精确的开始/结束时间和置信度分数。
• 说话人分离。 在转录文本中标记每个说话人，无需额外费用。
• 多声道转录。 最多可独立转录 8 个声道。
• 关键术语偏置。 每次请求最多传入 100 个领域术语，例如产品名称或医学术语。
• 文本格式化。 数字、日期、货币、电话号码和电子邮件地址以书面形式返回。
• 填充词移除。 从转录文本中省略诸如 "um" 和 "uh" 之类的填充词。
• 智能轮次检测。为语音代理检测说话者轮次的结束。

Grok Voice 赋能 Atlassian Loom

Atlassian Loom 被广泛用于录制和分享屏幕录像。Atlassian 发现 Grok Voice Transcribe 2.0 比其现有方案更准确，现在用它转录每一个视频。准确的转录开启了新的 AI 工作流：在 Loom 中录制一份行动计划，将转录文本传入 Cursor，它就能直接完成代码更新。

价格

Grok Voice Transcribe 2.0 的定价与 Grok Voice Transcribe 1.0 完全相同。批量转录仍为每小时音频 0.10 美元，流式为每小时 0.20 美元，包含说话人分离、时间戳和关键术语。

批量

美元/每小时音频

流式

美元/每小时音频

Grok Voice Transcribe 2.0 很快将成为 Speech-to-Text API 中的默认选项，而 Grok Voice Transcribe 1.0 将在未来几周内弃用。若要在过渡期间继续使用它，请固定 grok-voice-transcribe-1.0。