Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%

本文是报告的摘要 ，完整版见我们网站。

年复一年，AI 不断刷新各项新基准。然而，尽管 AI 超越人类的基准清单越来越长，AI 实际的经济影响却似乎增长得更慢。

这种“生产率悖论”反映了基准测试的几个事实：它们往往是为了衡量前沿 AI 相较过去能力的进步（而非与人类表现对比）而校准的；它们往往局限于容易评分的任务；而且 AI 有时会针对基准进行训练，就像高中生被教着应付 SAT 一样。所有这些都造成了 AI 在基准上的得分与其在现实世界中实际能力之间的差距。

要更好地理解 AI 距离胜任真实人类工作还有多远，我们需要弥合这一差距的方法。

去年二月，Epoch 高级研究员 Anson Ho 尝试把自己的工作自动化，测试 AI 能在哪些环节接手他的任务、又在哪些地方力有不逮。答案是：所有任务都失败了，但他预测到本十年末情况将不再如此。

最近，我们把这项初步尝试扩展成了 Epoch 自动化报告，涵盖我们在 Epoch 日常开展的一系列任务，比如平面设计和研究项目规划，并按照我们对人类工作的同样标准来评估 AI。

在这些任务上评估 AI 比大多数标准基准更费功夫，但更能代表真实工作的挑战：它们要求模型收集背景信息、使用工具，并处理 Epoch 人类员工所面对的复杂性。

那么，模型表现如何？

领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%。这意味着它们的产出满足了人类员工会被评估的评分细则中的 65%——100% 的得分才意味着这项任务可以放心自动化。

65% 的得分仍然意味着任务失败

这些结果并不一定意味着，按时间或任务难度衡量，我们距离自动化还有 65% 的路要走，尽管领先的 AI 能达到 Epoch 人类员工所需质量的 65%。

首先，这些分数可能反映的是在较容易的评分项上取得了成功。例如，AI 能生成有前景的研究方向，但在设计可执行的实验这一更难的任务上却力不从心。在开展一项试点实验时，GPT-6 Astra 为其评估的模型设置的 token 预算过低，导致 22% 的运行无法返回任何答案。但它随后把这些失败当作关于模型能力的关键发现，而不是实验设置的缺陷。

总体而言，AI 在定义明确的任务（如编程和数据分析）上表现更好，在开放式任务（如从示例中归纳规律、以及需要判断力的任务）上表现更差。当被要求设计一张图并提供了许多 Epoch 风格的示例时，Fable 5.1 做出一张杂乱无章的图表，塞满了过多信息，无法有效传达内容。相比之下，一位接到同样任务的 Epoch 设计师给出了干净简洁的图表。

这些发现为经济影响为何滞后提供了一种可能的解释——65% 还不够。如果人类提交了这些任务中的任何一个，都会被退回或修改。这类产出虽然有用，但仍需要人类逐一评估并修正每个错误。但随着 AI 持续进步，它将在更多任务上越过 100% 的门槛，到那时人类就会把任务交给 AI。

在这次评估中，已经有一项任务出现了这种情况。我们删掉了一个基础的图表生成任务，因为 Fable 5.1 大多数时候一次就能生成可接受的图表。Epoch 现在把这一步部分自动化，用在了我们的日常工作中。随着 AI 在越来越多任务上达到人类水平，我们预计会看到更大的经济影响。

感谢阅读！免费订阅即可收到新文章。