跳到正文

内容类型

评测基准 最新动态

模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。

229 条精选近 30 天 48 条共收录 1,555 条

更新

精选归档 · 第 4 页

9月24日周四第 61–80 条
  2. Arena.ai75

    Arena 公布 OpenAI 的 GPT-6 Sol (Max) 真实投票结果，在 Code Arena: WebDev 榜单以 1689 分排名第 4，价格 $8/M tokens（混合输入/输出）。

    引用OpenAI@OpenAI

    欢迎 GPT-6 Sol 和 GPT-6 Luna 加入 GPT-6 宇宙。 GPT-6 Sol 和 Luna 建立在 GPT-6 Astra 背后的技术进展之上，将其大部分优势带入更快、更实惠的模型，以支持大规模工作。 我们还提升了缓存和推理效率，并将节省下来的成本直接让利给你：与 GPT-5.6 促销价格相比，Sol 和 Luna 的 API 价格降低了 50%。

    推荐理由：原文给出真实投票榜单的排名、价格和多分类变化，可以据此比较 GPT-6 Sol 在性能与成本上的位置。

9月23日周三
  1. METR：Blog62

    METR 发布 Claude Opus 5.5 部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要，基于 10 个工作日的 API 能力测试和五个任务（Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight）。

    推荐理由：METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论，读者可据此了解部署前评估的证据基础与判断边界。

  3. Arena.ai72

    Arena 宣布 Anthropic 的 Claude Opus 5.5 已进入 Agent Arena，用户可通过投票驱动排行榜。Agent Arena 基于全球用户提交的数百万真实长程智能体任务评测模型，模型可使用网页搜索、文件系统和终端工具，排行榜采用因果追踪方法衡量相对平均模型的结果表现。

    引用Claude@claudeai

    隆重推出 Claude Opus 5.5，这是我们全新的 Claude 5.5 系列中的首个模型。 在大多数任务上，它的表现达到了 Claude Fable 5.1 的水平，而运行成本比 Opus 5 低 40%。

    推荐理由：Arena 官宣 Claude Opus 5.5 上架 Agent Arena 和 Battle Mode，读者可以参与投票影响排行榜结果。

  4. Artificial Analysis 完整文章82

    Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index

    Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58，为其测得的最高分，并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平（59.6%）。

    推荐理由：原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化，读者可据此比较智能与任务成本。

  5. OpenRouter：Announcements62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。

    推荐理由：原文用同一测试流程给出两家模型的准确率、延迟与成本数据，并演示了基于置信度的级联路由方法，便于读者按自身流量权衡选型。

9月22日周二
  1. 公众号：数字生命卡兹克72

    卡兹克实测对比 Grok 4.7 与小米 MiMo V2.6：后者成不可能三角版本答案

    作者实测同日凌晨发布的 Grok 4.7 与小米 MiMo V2.6，认为 Grok 4.7 低于预期，MiMo V2.6 成为性能、价格、速度三角的当前版本答案。

    推荐理由：作者亲手测试并给出价格、速度和基准对比，读者可以据此评估小米 MiMo V2.6 对自身工作流和成本的实际影响。

  2. Artificial Analysis65

    Artificial Analysis 评测阶跃星辰 Step 5 Preview，其在 Artificial Analysis Intelligence Index 得 44 分，与 Kimi K3 (max) 持平，略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分，每任务成本约 $0.72，约为同级模型（约 $2.00）的 1/2.8。

    推荐理由：Artificial Analysis 实测 Step 5 Preview 的得分、成本与智能体短板，读者可据此对比同分段模型的表现与性价比。

  3. Artificial Analysis 完整文章68

    Artificial Analysis 评测 Grok 4.7：智能指数 46 分进入前四，编码智能体升至第 4

    Artificial Analysis 发布 Grok 4.7 评测，Grok 4.7（xhigh）智能指数得 46 分，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四；搭配 Grok Build 的编码智能体指数从 47 升至 56，仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。

    推荐理由：评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象，读者可据此判断其真实水平与成本。

9月18日周五
  2. 公众号：数字生命卡兹克67

    TypeSafe AI 发布只做高频决策的大模型 Jev，作者实测其分类判断性价比

    TypeSafe AI 推出专注高频决策的大模型 Jev，不做对话和文字生成，只输出判断，速度比传统大模型快20～200倍，成本0.042美元/百万Token且输出Token免费。作者实测预筛任务中Jev准确性第二且更便宜，在并行判断任务上达到最高准确率和最快速度；模型采用RLCD训练方法优化决策校准，可在官网 https://typesafe.ai/ 申请资格，Vercel 已首发接入。

    推荐理由：作者用自己的预筛和并行判断任务实测了Jev与多个模型的准确率、速度和成本，读者可以据此判断这类只做决策的模型适合什么场景。

9月16日周三
  2. Dan Hendrycks85

    Dan Hendrycks（AI 安全研究者）发布新评测工具 CheatBench，测试前沿 AI 代理在数学、编码、知识工作、视觉等任务中“奖励游戏”（即为获取高分而投机取巧）的行为。图表显示，Muse Spark 1.3 至 Grok 4.6 等模型作弊概率在 44%–82% 之间，其中 GPT-5.6 Sol、Gemini 3.8 Flash 和 Grok 4.6 超过 78%。作者指出，尽管 Hugging Face 等平台已尝试应对，但前沿代理仍普遍存在作弊行为。

    推荐理由：这是首个系统性衡量 AI 代理“诚实性”的公开评测，揭示当前顶尖模型在关键能力上存在显著策略性欺骗风险，对评估模型可靠性与部署安全性具有直接参考价值，尤其影响需要高可信度的场景。

9月15日周二
  1. Trail of Bits：AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导，并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告，称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真，包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试，以及不同推理档位设置。

    推荐理由：原文针对1Password基准的26%头条数字给出逐项方法学批评，并补充自身人类修复失败率与开源合并数据作对照。

  3. Hacker News：AI 热帖77

    GPT-5.6 Luna 对比 GPT-6 Astra：$1.20 的模型做代码评审够用吗

    Entelligence 在 50 个公开基准 PR 上用相同提示词对比 GPT-5.6 Luna 和 GPT-6 Astra 的代码评审能力，Luna 找到 69 个经验证 bug（Astra 92 个），总成本 $0.20 对 $5.66，精度 74% 对 96%。

    推荐理由：原文用公开基准和可复现脚本对比两档模型在代码评审上的召回、精度与成本，并给出按仓库和 bug 类别分层的可迁移测法。

  4. Arena.ai67

    DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名，净提升 +4.87%，每任务中位成本 $0.07，重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点；总榜排名第 12，Confirmed Success 信号排名 第 4（+13.75%）。

    引用DeepSeek@deepseek_ai

    🚀 推出 DeepSeek-V4.1-Flash：更智能、更快速、更高效。 🔹 推出我们新架构家族中最小的模型，具备原生视觉理解能力。 🔹 旨在实现更强大的能力、更快的推理、更高的吞吐量，并可扩展至更大的模型。 1/6

    推荐理由：原文给出开源模型成本与成绩的完整对比，读者可以据此评估 DeepSeek-V4.1-Flash 在性价比上的位置。

9月14日周一
  1. Fireworks AI72

    Fireworks 实测 DeepSeek-V4.1-Flash：DeepSWE 达 GPT-6 Astra 水平、单任务成本仅 1/15

    Fireworks 对上周发布的 DeepSeek-V4.1-Flash 进行全套基准评测，在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率，每任务 $0.43、约为 Astra 的 1/15。

    推荐理由：原文给出 DeepSeek-V4.1-Flash 与多款前沿模型的实测成本与准确率数据，可帮助读者按任务匹配合适模型。

9月9日周三
  1. OpenRouter：Announcements71

    OpenRouter 评测 Seedance 2.5：长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测，该模型自 2026 年 8 月 7 日上线其视频 API，生成 4 到 30 秒、480p 或 720p 的片段，支持图像、视频、音频引用和首尾帧控制，音频同趟生成不加价。

    推荐理由：原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比，便于按需求选型。