跳到正文
#评测/基准
10月16日周五
  1. Arena.ai78

    Arena 宣布 Meta 的 Muse Spark Open 已进入 Agent Arena，用户可实测，评分即将公布。该模型为 816B 总参数、42B 激活参数，1M token 上下文窗口，原生多模态。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open，这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造，它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格： → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由：Arena 官宣 Meta 新模型进入 Agent Arena 和 Code Arena，读者可自行实测并等待基于真实任务的评分。

  2. François Chollet65

    François Chollet 转发 @arcprize 的评测，称 Gemini 4 Argon 在 ARC-AGI-3 上表现与 Astra 相近，Google 回到前沿。引用数据显示 Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%（provider adapter harness，花费 $4.8K）、标准 harness 下 49.8%（$5.8K），ARC-AGI-2 得分 91.3%，ARC-AGI-1 得分 98.5%，Google DeepMind 是第二个在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。

    引用ARC Prize@arcprize

    Gemini 4 Argon from @Google on ARC-AGI (Verified): - ARC-AGI-3: 97.5%, $4.8K (provider adapter harness), 49.8%, $5.8K (standard harness) - ARC-AGI-2: 91.3%, $0.32/task - ARC-AGI-1: 98.5%, $0.16/task Google DeepMind is the second frontier AI lab to score above 95% on ARC-AGI-3.

  3. Artificial Analysis 完整文章69

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B

    Artificial Analysis 评测显示，NVIDIA 发布的 Nemotron 3.5 Super VL 以 26 分（另一处写作 26.5）登顶美国开源权重模型，智能达前代 Nemotron 3 Super（13 分）的两倍，且每任务输出 token 少约 60%（46k 对 114k）。

    同一件事，精选收录的是《NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型》

  4. ARC Prize66

    ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI (Verified) 的评测成绩。ARC-AGI-3 上，provider adapter harness 得分 97.5%、成本 $4.8K，标准 harness 得分 49.8%、成本 $5.8K；ARC-AGI-2 得分 91.3%、$0.32/task；ARC-AGI-1 得分 98.5%、$0.16/task。Google DeepMind 是第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。

    推荐理由：ARC Prize 公布了 Gemini 4 Argon 在 ARC-AGI 三个版本上的得分与成本，读者可据此比较不同 harness 设置的差异。

10月15日周四
  2. Google Developers Blog63

    Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check

    Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。

    推荐理由：原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程，可用 agent-eval 工具包直接复现，避开四个常见评测陷阱。

  8. Elon Musk67

    Musk 发文称 Grok Voice 3.0 已是全球领先的对话语音模型，并引用 Artificial Analysis 的评测：Grok Voice 3.0 以 86.9 分登顶 Speech to Speech Index，领先 GPT-Live-1（Astra, medium）的 83.2 和 Gemini 3.8 Live 的 82.6，较 Grok Voice 2.0 的 81.3 提升 5.6 分。该模型通过 Realtime API 提供，价格 $0.08 每分钟，Big Bench Audio 平均首音频延迟 0.81 秒，任务成功率 94.8% 居榜首。

    引用Artificial Analysis@ArtificialAnlys

    SpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型，在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1，同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者，这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型，价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点： ➤ 语音到语音指数：Grok Voice 3.0 以 86.9 首次亮相即排名第 1，领先于 GPT-Live-1（Astra，medium）的 83.2、Gemini 3.8 Live Extended Thinking（High）的 82.6 和 GPT-Live-1（Sol，low）的 80.1。它高于 Grok Voice 2.0 的 81.3（+5.6 分）和 Grok Voice 1.0 的 73.7（+13.2 分），后者发布至今还不到六个月。该指数平均了语音推理（Big Bench Audio）、智能体性能（Tau Voice）、Arena 偏好和任务成功率 ➤ 语音智能体 Arena：Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3，落后于 Gemini 3.1 Flash Live Minimal（1100）和 Gemini 3.8 Live（1088），领先于 GPT-Live-1（Sol，low）的 1057，并以 94.8% 的任务成功率排名第 1，为榜单最高，略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice：Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2，落后于 GPT-Live-1（Astra，medium）的 74.5%，领先于 Gemini 3.8 Live Extended Thinking（High）的 68.6% 和 GPT-Live-1（Sol，low）的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio：Grok Voice 3.0 在音频推理上得分 98.5%，领先于 Gemini 3.8 Live Extended Thinking（High）的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度：在 Big Bench Audio 上，Grok Voice 3.0 的平均首次音频时间为 0.81 秒，明显领先于 GPT-Live-1（Sol，low）的 1.24 秒、GPT-Live-1（Astra，medium）的 1.34 秒和 Gemini 3.8 Live Extended Thinking（High）的 1.35 秒，但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本：Grok Voice 3.0 的输入音频成本为每小时 $4.80，与 Grok Voice 2.0 相同。这高于 GPT-Live-1（Sol，low）的 $4.47 和 Gemini 3.8 Live Extended Thinking（High）的 $3.50，低于 GPT-Live-1（Astra，medium）的 $5.83，并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️

    推荐理由：作者引用第三方评测数据，读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。

  9. Arena.ai66

    Arena 发布基于超过 5000 次真实智能体会话的评测结果，Meta 的 Muse Wonder (Max) 进入 Agent Arena 第12名，净提升 +6.4%，比 Muse Spark 1.3 (Max) 高 +2.8 分并上升四位。

    引用Arena.ai@arena

    由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena：WebDev 以 1651 分位列第 15，Text Arena 以 1513 分位列第 2！ 在 Code Arena：WebDev 中，Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max)，与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内，并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比，Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本！

    推荐理由：原文基于5000多个真实智能体会话给出排名和成本对比，读者可据此衡量 Muse Wonder (Max) 的性价比变化。

  10. Hacker News：AI 热帖44

    为什么 LLM 生成的鹈鹕长这样？

    一项新基准 Design Creativity Bench 用 80 个开放式 UI 设计任务评测 16 个前沿模型，从原创性、创意跨度和合理性三个维度衡量设计创造力。表现最好的 OpenAI GPT-6 Astra 得分 65.5，人类设计师参考分为 92.3，差距明显。该基准的排行榜、方法论与可复现评测框架已公开。

  12. Rohan Paul63

    xAI 发布 Grok Voice 3.0，以 86.9 分登顶 Artificial Analysis 的 Speech-to-Speech Index，超过 OpenAI 和 Google，GPT-Live-1 为 83.2。最大提升在 τ-Voice 任务成功率，从 Grok Voice 2.0 的 56.5% 升至 71.6%；响应比 GPT-Live-1 快 40%，Big Bench Audio 上每任务成本 $0.025，低于 GPT-Live-1 的 $0.030 和 GPT-Realtime-2.1 (High) 的 $0.055。作者还提到 Grok Voice 3.0 已用于 Tesla，每天处理数百万段对话，支持通过 Connectors 查日历、回邮件，Grok Bot 可点咖啡、订晚餐。

    引用Rohan Paul@rohanpaul_ai

    SpaceXAI launched Grok Voice 3.0 tops Artificial Analysis’s Speech-to-Speech Index at 86.9, beating OpenAI and Google. The index blends spoken reasoning, simulated support calls, blind preference votes and task success, where GPT-Live-1 (Astra, Medium) reaches 83.2. The largest gain comes on τ-Voice, where a simulated caller asks the model to rebook flights or dispute charges using domain tools and a policy document. There, Grok’s success rate jumped from 56.5% under Grok Voice 2.0 to 71.6%. Grok’s edge is speed: it answers 40% sooner than GPT-Live-1, whose 1.34 seconds implies roughly 0.8 seconds, slightly slower than Grok Voice 2.0’s 0.70. Introducing Grok Voice 3.0 +2 It also costs $0.025 per task on Artificial Analysis’s Big Bench Audio run, against $0.030 for GPT-Live-1 and $0.055 for GPT-Realtime-2.1 (High).

  18. Arena.ai63

    Arena 宣布 Claude Haiku 5.5 (High) 上线 Agent Arena，基于超 20.5K 次真实智能体会话，净提升 +1.48%，综合排名 #27，Code 类排名 #15（+4.83%）。

    引用Arena.ai@arena

    Real-world results are in for Claude Haiku 5.5 (High) by @AnthropicAI. Debuting at #30 with 1587 pts in Code Arena: WebDev, this release sits just outside the Pareto frontier while still offering strong cost efficiency. It matches GPT‑6 Luna’s price at $0.10/$0.50 per 1M input/output tokens while scoring six pts higher. Compared with other Claude models, Haiku 5.5 offers: - 90% lower cost than Haiku 4.5 at +257 pts - 95% lower cost than Sonnet 5.5 (High) at -128 pts - 98% lower cost than Opus 5 (High) at -70 pts - 99% lower cost than Fable 5.1 (Max) at -157 pts Congrats to the team at @AnthropicAI on this release!

  19. Arena.ai57

    Arena 宣布 Anthropic 的 Claude Haiku 5.5 (High) 上线 Agent Arena，基于超 20.5K 真实智能体会话，净提升 +1.48%，总排名第 27。

    引用Arena.ai@arena

    Real-world results are in for Claude Haiku 5.5 (High) by @AnthropicAI. Debuting at #30 with 1587 pts in Code Arena: WebDev, this release sits just outside the Pareto frontier while still offering strong cost efficiency. It matches GPT‑6 Luna’s price at $0.10/$0.50 per 1M input/output tokens while scoring six pts higher. Compared with other Claude models, Haiku 5.5 offers: - 90% lower cost than Haiku 4.5 at +257 pts - 95% lower cost than Sonnet 5.5 (High) at -128 pts - 98% lower cost than Opus 5 (High) at -70 pts - 99% lower cost than Fable 5.1 (Max) at -157 pts Congrats to the team at @AnthropicAI on this release!

10月14日周三
  5. Arena.ai72

    Arena 宣布 Meta 的 Muse Wonder (Max) 进入 Code Arena: WebDev 榜单第15名（1651分），与 Kimi K3 (Max) 的 1655 分相差 4 分。

    引用AI at Meta@AIatMeta

    我们很高兴推出 Muse Wonder 系列，包括 Muse Wonder 和 Muse Wonder Full，这是我们迄今为止最强大的模型。两者都是前沿模型，旨在为个人和专业代理任务提供最先进的性能。 Muse Wonder 今天可通过 Meta Model API 和 Muse Code 使用。Muse Wonder Full 今天面向 Muse Code 订阅者提供。Muse Wonder 很快还将为我们的个人代理产品 Muse 中的体验提供支持，首先向订阅者推出。

    推荐理由：榜单给出了 Muse Wonder (Max) 与邻近模型的分差和名次变化，读者可以据此比较它在编码与文本上的实际位置。

  8. Rohan Paul80

    Google 将 Gemini 4 Argon 开放给付费客户，在 Vals AI 按 GDP 加权的专业工作指数中以 68.90% 领先 Claude Sonnet 5.5 的 67.04%。

    引用Sundar Pichai@sundarpichai

    Gemini 4 Argon 来了。 今天起面向全球开发者与企业开放，可通过 Gemini API 和 Gemini 平台的付费层级使用；Ultra 订阅者可在 Google Antigravity 中使用；Ultra 和 Pro 订阅者可在 Gemini 应用和搜索中使用。 希望大家喜欢！

    同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

  12. ARC Prize62

    ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI (Verified) 上的成绩：ARC-AGI-2 为 72.9%、每任务 $0.13，ARC-AGI-1 为 94.5%、每任务 $0.07。相比 V4 Flash 的最佳成绩，ARC-AGI-1 提高 5.5 分、ARC-AGI-2 提高 11.5 分，但每任务成本约高出 250%。

    引用ARC Prize@arcprize

    DeepSeek V4.1 Flash from @deepseek_ai on ARC-AGI (Verified): - ARC-AGI-2: 72.9%, $0.13/task - ARC-AGI-1: 94.5%, $0.07/task DeepSeek V4.1 Flash beats V4 Flash's best scores by 5.5 points on ARC-AGI-1 and 11.5 on ARC-AGI-2, but costs about 250% more per task.