跳到正文
Artificial Analysis 完整文章·· 4 天前精选AI 评分76

Artificial Analysis 评测 GPT-6.1 Terra:以不到三分之一成本推进性价比前沿

GPT-6.1 Terra pushes the cost efficiency frontier

AI 导读

Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra,称其在低中 effort 下达到智能与成本的 Pareto 前沿,价格为 GPT-5.6 Terra 的一半或更低($1/$5 每百万输入/输出 token)。

推荐理由

评测方给出 GPT-6.1 Terra 在智能指数、幻觉率和编码代理基准上的具体得分与成本对比,读者可据此评估其性价比位置。

正文 · AI 翻译

OpenAI 发布 GPT-6.1 Terra,进一步推进成本效率前沿。这是自 GPT-5.6 以来首个 Terra 级模型,智能水平更高,成本却不到三分之一

每 token 价格是 GPT-5.6 Terra 的一半或更低——每百万输入/输出 token 分别为 1 美元/5 美元,而上一代模型为 2 美元/12 美元。缓存写入价格也减半,现为每百万 token 1.25 美元。缓存输入价格降至四分之一,为每百万 token 0.05 美元,此前为 0.20 美元。

要点:

➤ 在低、中推理强度下,智能与成本达到帕累托最优:在最高推理强度下,GPT-6.1 Terra 在 Artificial Analysis 智能指数上比 GPT-5.6 Terra 高 6 分,而每任务成本不到三分之一(0.40 美元 vs 1.40 美元)。在较低推理强度下,提升幅度更大,为 7 到 13 分。低、中推理强度在成本效率上处于帕累托最优,其他推理强度则落在前沿之后。在最高推理强度下,该模型在智能指数上比 GPT-6.1 Sol 低 4 分,比 GPT-6 Luna 高 10 分。

➤ 推进编程智能体指数成本效率前沿:在新发布的 Artificial Analysis 编程智能体指数 v2.0 中,该模型得分为 48,比 GPT-6.1 Sol(54)低 6 分,比 GPT-6 Luna(31)高 17 分。xhigh 和低推理强度设置在编程智能体指数中处于成本效率前沿,其他推理强度则落在前沿之后。

➤ 幻觉率下降 50 个百分点:在 AA-Omniscience(我们私有的知识与幻觉基准)中,当 GPT-6.1 Terra 不知道问题答案时,有 38% 的情况会猜测。此前 GPT-5.6 Terra 的幻觉率为 88%。幻觉率大幅下降的同时,AA-Omniscience 准确率提高了 2 分——这意味着模型同时答对了更多问题。

➤ Terminal-Bench 4.0 提升 20 分,多数评测小幅进步:该模型在基于终端的智能体基准 Terminal-Bench 4.0 上取得显著进展,提升约 20 分,在最高推理强度下现已与 GPT-6.1 Sol 相当。其他多数评测的提升较小,例如 GDP.pdf 提升 5 分。

在 Artificial Analysis 编程智能体指数 v2.0 中,GPT-6.1 Terra 得分为 48,比 GPT-6.1 Sol(54)低 6 分,比 GPT-6 Luna(31)高 17 分。xhigh 和低推理强度设置处于成本效率前沿。

在 AA-Omniscience 中测得,GPT-6.1 Terra 的幻觉率下降 50 个百分点。与此同时,AA-Omniscience 准确率提高了 2 分——这意味着模型同时答对了更多问题。

该模型在基于终端的智能体基准 Terminal-Bench 4.0 上取得显著进展,提升约 20 分,在最高推理强度下现已与 GPT-6.1 Sol 相当。

Artificial Analysis 智能指数 v4.3.2 中各单项评测的细分结果

在以下网址将 GPT-6.1 Terra 与其他领先模型进行比较:https://artificialanalysis.ai/models/releases/gpt-6-1-terra

来源:Artificial Analysis 完整文章 · artificialanalysis.ai