Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。
推荐理由：原文给出了跨六个 LLM 裁判的敏感性实验数据，读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。
内容类型
评测基准 最新动态
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
229 条精选近 30 天 50 条共收录 1,552 条
更新
大事记
重要进展10月
9月
7月
查看更早 10 件大事收起
7月
6月
5月
3月
2月
202511月
评测基准的精选
Ai2 / Allen Institute for AI精选AI 评分6464
Artificial Analysis 完整文章精选AI 评分7676 Artificial Analysis 评测 GPT-6.1 Terra：以不到三分之一成本推进性价比前沿
Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra，称其在低中 effort 下达到智能与成本的 Pareto 前沿，价格为 GPT-5.6 Terra 的一半或更低（$1/$5 每百万输入/输出 token）。
推荐理由：评测方给出 GPT-6.1 Terra 在智能指数、幻觉率和编码代理基准上的具体得分与成本对比，读者可据此评估其性价比位置。
Epoch AI：Gradient Updates精选AI 评分6161 Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%
Epoch AI 发布 Epoch Automation Reports，把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI，领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%，未达到 100% 的可自动化门槛。
推荐理由：Epoch 用自家真实工作任务按员工标准评估 AI，解释了 65% 的基准分数为何还不足以转化为自动化和经济影响。
Artificial Analysis 完整文章精选AI 评分8282 Kimi K3.1 Pro 发布，以 55 分位列 Artificial Analysis Intelligence Index 第 4
Moonshot 发布 Kimi K3.1 Pro，在 Artificial Analysis Intelligence Index 得 55 分列第 4，较 Kimi K3 提升 11 分，仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。
推荐理由：榜单数据完整，K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。
fal@fal精选AI 评分6868引用fal@fal隆重推出 FLUX 3 Max，这是 fal Research 与 @bfl_ai 合作推出的最新后训练视频模型。 在独立第三方基准测试中，FLUX 3 Max 在图生视频质量上并列第一，可在约 12 秒内生成一段 10 秒、720/768p 的视频。 在接下来的三周内，FLUX 3 Max 享受 75% 折扣，使其成为同等质量水平下最实惠的前沿视频模型。
推荐理由：原文给出第三方 Elo 分数和生成速度数据，读者可据此判断该模型在图生视频梯队中的位置。
Ai2 / Allen Institute for AI精选AI 评分6161 Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称
Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。
推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。
Stanford HAI News精选AI 评分6767 斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半
斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。
推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。
OpenAI：官网动态精选AI 评分6464 OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。
推荐理由：原文给出低资源语言的两套自建评测和逐语言数据，读者可据此评估新模型在遗留系统维护与迁移上的可用性。
Arena.ai@arena精选AI 评分7474引用Arena.ai@arena激动人心的消息：@deepseek_ai 的 DeepSeek-V4.1-Flash-20261017 (Max) 现已成为 Code Arena: WebDev 中排名第一的开源模型，以低 10 倍的成本超越 Kimi K3 (Max)！ 亮点： - 排名第一的开源模型，领先于 Kimi K3 (Max) - 以 1670 分位列总榜第 12，领先于 Claude Opus 5 (High)，与 GPT-6 Sol (Max) 相差约 10 分以内 - 以每百万输入/输出 token $0.3/$1.2 的价格推动帕累托前沿移动 - 相比上一版 DeepSeek-V4.1-Flash-20260910 提升 52 分 祝贺 @deepseek_ai 团队为开源生态又做出了一项强有力的贡献！
推荐理由：Arena 用 7.5K 真实会话的数据说明该模型以约 27% 的成本拿下开源第一，读者可据此权衡 Agent 场景的性价比。
Artificial Analysis@ArtificialAnlys精选AI 评分6666推荐理由：第三方评测机构给出该模型在多项基准的具体分数和成本对比，读者可据此评估其在开源模型中的性价比位置。
- Arena.ai@arena精选AI 评分6565引用Arena.ai@arena
由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena：WebDev 以 1651 分位列第 15，Text Arena 以 1513 分位列第 2！ 在 Code Arena：WebDev 中，Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max)，与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内，并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比，Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本！
推荐理由：榜单方公布了 Meta 新模型在 Code Arena WebDev 的首秀成绩和分项排名，读者可以据此对比各实验室模型的当前位次。
- Arena.ai@arena精选AI 评分6969引用DeepSeek@deepseek_ai
🚀 DeepSeek-V4.1-Flash-1017 来了！ 与上一版本相比，基准测试表现更强、任务完成更快、输出更短——在性能与成本上实现了帕累托改进。现已在我们的网站、应用和 API 上线。 🛠️ 针对 @DeepSeekHarness、Tencent CodeBuddy、WorkBuddy 等进行了优化。升级到 DeepSeek Harness v0.2.1-rc.1 或更高版本，以获得新模型的最佳体验。 1/4
推荐理由：Arena 榜单给出了具体排名、分数和价格点，读者可以据此评估 DeepSeek 新版模型在 WebDev 编码上的性价比位置。
- Arena.ai@arena精选AI 评分8080
Arena 公布 Meta 发布的 Muse Spark Open (Max) 在 Code Arena: WebDev 以 1511 分位居美国开源模型第一、开源模型总榜第 13。
引用AI at Meta@AIatMeta今天我们发布 Muse Spark Open，这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造，它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格： → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态
推荐理由：基于 Arena 自家 Code Arena 榜单给出 Muse Spark Open 的具体得分、排名与定价对比，读者可据此定位该开源模型的真实水准。
Artificial Analysis 完整文章精选AI 评分6161 Reflection 发布首个开源权重模型 Beam，Artificial Analysis 评测得分 30 居美国开源模型第二
Artificial Analysis 评测 Reflection 首个模型 Beam，其在 Artificial Analysis Intelligence Index 得 30 分，在美国开源权重模型中排第二，仅次于 Meta 的 Muse Spark Open（39）。
推荐理由：第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据，可用于横向比较其智能体与编码能力。
Artificial Analysis 完整文章精选AI 评分6666 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测
Artificial Analysis 公布首批 AA-AgentPerf 结果，测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率，对比 GB300 NVL72。
推荐理由：Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐，读者可据此评估新硬件对智能体推理服务成本的影响。
- Arena.ai@arena精选AI 评分7878引用AI at Meta@AIatMeta
今天我们发布 Muse Spark Open，这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造，它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格： → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态
推荐理由：Arena 官宣 Meta 新模型进入 Agent Arena 和 Code Arena，读者可自行实测并等待基于真实任务的评分。
ARC Prize@arcprize精选AI 评分6666推荐理由：ARC Prize 公布了 Gemini 4 Argon 在 ARC-AGI 三个版本上的得分与成本，读者可据此比较不同 harness 设置的差异。
Google Developers Blog精选AI 评分6363 Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check
Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。
推荐理由：原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程，可用 agent-eval 工具包直接复现，避开四个常见评测陷阱。
Elon Musk@elonmusk精选AI 评分6767引用Artificial Analysis@ArtificialAnlysSpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型，在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1，同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者，这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型，价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点： ➤ 语音到语音指数：Grok Voice 3.0 以 86.9 首次亮相即排名第 1，领先于 GPT-Live-1（Astra，medium）的 83.2、Gemini 3.8 Live Extended Thinking（High）的 82.6 和 GPT-Live-1（Sol，low）的 80.1。它高于 Grok Voice 2.0 的 81.3（+5.6 分）和 Grok Voice 1.0 的 73.7（+13.2 分），后者发布至今还不到六个月。该指数平均了语音推理（Big Bench Audio）、智能体性能（Tau Voice）、Arena 偏好和任务成功率 ➤ 语音智能体 Arena：Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3，落后于 Gemini 3.1 Flash Live Minimal（1100）和 Gemini 3.8 Live（1088），领先于 GPT-Live-1（Sol，low）的 1057，并以 94.8% 的任务成功率排名第 1，为榜单最高，略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice：Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2，落后于 GPT-Live-1（Astra，medium）的 74.5%，领先于 Gemini 3.8 Live Extended Thinking（High）的 68.6% 和 GPT-Live-1（Sol，low）的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio：Grok Voice 3.0 在音频推理上得分 98.5%，领先于 Gemini 3.8 Live Extended Thinking（High）的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度：在 Big Bench Audio 上，Grok Voice 3.0 的平均首次音频时间为 0.81 秒，明显领先于 GPT-Live-1（Sol，low）的 1.24 秒、GPT-Live-1（Astra，medium）的 1.34 秒和 Gemini 3.8 Live Extended Thinking（High）的 1.35 秒，但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本：Grok Voice 3.0 的输入音频成本为每小时 $4.80，与 Grok Voice 2.0 相同。这高于 GPT-Live-1（Sol，low）的 $4.47 和 Gemini 3.8 Live Extended Thinking（High）的 $3.50，低于 GPT-Live-1（Astra，medium）的 $5.83，并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️
推荐理由：作者引用第三方评测数据，读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。
- Arena.ai@arena精选AI 评分6666引用Arena.ai@arena
由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena：WebDev 以 1651 分位列第 15，Text Arena 以 1513 分位列第 2！ 在 Code Arena：WebDev 中，Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max)，与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内，并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比，Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本！
推荐理由：原文基于5000多个真实智能体会话给出排名和成本对比，读者可据此衡量 Muse Wonder (Max) 的性价比变化。