Sierra 发布 𝜏-Entity 基准，检验语音智能体能否准确采集姓名、电话等实体信息

语音智能体已经能处理越来越复杂的对话，但有时让通话出问题的恰恰是些简单的事：把姓名、电话号码或邮箱地址弄对。我们在 𝜏-Voice 中反复看到这个瓶颈：智能体把一个细节弄错，还没能帮上忙就先在身份验证上失败了。

今天我们推出 𝜏-Entity，这是一个基准测试，用来衡量智能体能否准确捕捉细节、识别出细节可能出错，并修正错误。

𝜏-Entity 用 200 个任务、十种实体类型来测试语音智能体，涵盖姓名、电话号码、地址和邮箱。每次通话只聚焦一个字段，来电者配合度高，被要求时会准确拼写。大多数通话不到两分钟。

即便在这样简单的设定下，当下的语音智能体仍然很难把细节弄对。

基准测试内部

每个任务都从一个缺失的值开始。智能体必须向来电者询问这个值，并正确提交。只有存储的值与预期值完全一致才算成功。我们改变了三件事：值本身的难度、来电者的行为（如纠正和重来）以及音频环境。

然后我们测量 Pass³：智能体能否在常规、强噪声和强语音三种条件下都成功完成同一任务。

这样我们就能把两个问题分开：智能体能捕捉到这个值吗？条件变化时它还能稳定做到吗？

现有智能体的得分

在 𝜏-Entity 排行榜上（汇总了 𝜏-i18n 的全部六种语言），GPT Live 1 领先：它在 60.3% 的常规通话中正确捕捉到值，但只有 34.0% 的任务能在三种条件下全部成功。Gemini 3.8 Live 和 Grok Voice Think Fast 2.0 在常规条件下分别达到 43.8% 和 44.2%，在三种条件下则降到 19.5% 和 24.0%。

仅英语要容易一些：GPT Live 1 在常规通话中达到 74.0%，三种条件下为 47.5%。西班牙语、葡萄牙语和印地语与英语接近，Gemini 和 Grok 在这些语言上甚至高于英语，但韩语的 Pass³ 降到 3.5–8.5%，普通话在各智能体上降到 12.5–24.5%。

知道何时该放慢

当人们不确定自己是否听对时，会放慢速度、请对方重复、拼出名字，或确认自己听到的内容。智能体只识别出部分应当放慢的理由，漏掉了其他理由。

在 𝜏-Elicitation 论文中，我们把验证投入量化为一次通话中智能体要求复述和请求拼写的次数，然后比较它在熟悉与陌生实体、简单与困难的值、嘈杂与干净的环境以及不同来电者声音下的表现。

那项研究中的智能体对某些类型的困难做出了调整：各系统对困难和陌生实体验证得更仔细。但只有 Grok 在噪声下验证得更多，而且没有任何一个系统对它最难应对的来电者声音投入更多验证。

换句话说，智能体能识别出一些警示信号，但并不能可靠地对所有信号做出调整。

再问一次只是解决方案的一部分

在论文中，我们还测试了规定一套验证策略能否弥合差距。规定的顺序是：询问，让来电者拼写该值或复述，确认并纠正，然后提交。

当智能体自行选择验证策略时，在三种条件下只有 14–41% 的任务能成功。而按规定的顺序执行，成功率可提升到 37–54%，具体提升幅度取决于配置，为14–31 个百分点。但这份额外的谨慎要花时间：每次调用会多出 21–28 秒。

即便智能体意识到自己可能出错，也未必能纠正过来。在论文的行为分析中，智能体核实过的初始错误捕获，最终只有 24–37% 被改正。有时智能体会重复同一个错误，有时则用一个新的错误值替换原来的值。追问只有在智能体能正确利用答案时才有用。

当一次调用需要多个字段时，错误也会累积。在论文的多字段研究中，即使单个字段的准确率仍有 75%，三字段调用的成功率也只有 53%。在针对同样多字段任务的另一项对比中，对每个字段进行校验并允许重试，把成功率从 64% 提升到了 82%。由于这项干预把校验和重试结合在一起，我们无法区分两者各自的贡献。

方向是明确的：可靠的语音智能体需要能识别不确定性、验证该验证的内容，并在错误发生时真正修正错误。

现状如何

这些结果指向两个机会：更好地判断何时验证、如何验证，以及在出错时更可靠地纠正。追问只有在智能体能利用答案纠正所捕获内容时才有帮助。

这并不意味着每次交互都要走尽可能长的验证流程。规定的验证能提升可靠性，但更耗时。难点在于判断何时需要这份额外投入，并让它真正发挥作用。

𝜏-Entity 提供了受控任务，用于衡量在不同实体类型、来电者行为和环境下的进展。我们与 𝜏-i18n 一同推出它，目前已覆盖同样的六种语言。

感谢 Mercor 的 Victor Barres 的合作。