跳到正文
#评测/基准
10月22日周四
10月21日周三
  5. Arena.ai60

    Arena 宣布 Meta 的 Muse Wonder Full (Max) 在 Agent Arena 排名第 7，净提升 +11.3%，基于超 6.5K 真实智能体会话，将 Meta 推至实验室第 4 位。

    引用Arena.ai@arena

    Exciting news: Muse Wonder Full (Max) by @AIatMeta has just debuted in the Code Arena: WebDev at #6 overall with 1726 pts, putting Meta in the top 3 labs! This is +75 pts and 11 places above Muse Wonder (Max) at #17 (1651 pts), and +67 pts and 8 places above Muse Spark 1.3 (Max) at #14 (1659 pts). Muse Wonder Full (#6) also landed +16 pts above Claude Sonnet 5.5 (#17), and +48 pts above Gemini 4 Argon (#10). With this score, Muse took the #3 lab spot (previously held by Google). Across categories, Muse Wonder Full (Max) landed: - #4 in Data & Analytics and in Consumer Product - #5 in Brand & Marketing - #6 in Content Creation Tools - #7 in Gaming and in Simulations - #8 in Reference-Based Design Congrats to the @AIatMeta team and @alexandr_wang on this release!

  6. Arena.ai57

    Arena 更新 Agent Arena Pareto 前沿，OpenAI 的 GPT-6 Luna 和 GPT-6.1 Sol 在不同推理档位下占据 11 个前沿位置中的 6 个，加上 GPT-6 Astra (Max) 共 7 席。

    引用Arena.ai@arena

    Update to the Agent Arena Pareto frontier: GPT-6 Luna (Max) has landed on the Agent Arena Pareto frontier with +1.59% net improvement at a median cost of just $0.05 per task! Luna costs 29% less than DeepSeek-V4.1-Flash and 76% less than Hy4 preview, while trailing their net-improvement scores by just 2.27 and 2.51 percentage points respectively. Compared to other GPT models on the Pareto frontier, GPT-6 Luna (Max) costs 94% less than GPT-6 Sol (Max), and 98% less than GPT-6 Astra (Max). Congrats to the @OpenAI team on this cost-efficient release!

  7. fal68

    fal 发布与 Black Forest Labs 合作后训练的视频模型 FLUX 3 Max，在第三方独立人类偏好评测中获 1139 Elo，与 Seedance 2.5 并列图生视频质量第一梯队。该模型约 12 秒生成一段 10 秒 720/768p 视频，未来三周降价 75%，后续还将继续后训练改进。

    引用fal@fal

    隆重推出 FLUX 3 Max，这是 fal Research 与 @bfl_ai 合作推出的最新后训练视频模型。 在独立第三方基准测试中，FLUX 3 Max 在图生视频质量上并列第一，可在约 12 秒内生成一段 10 秒、720/768p 的视频。 在接下来的三周内，FLUX 3 Max 享受 75% 折扣，使其成为同等质量水平下最实惠的前沿视频模型。

    推荐理由：原文给出第三方 Elo 分数和生成速度数据，读者可据此判断该模型在图生视频梯队中的位置。

  11. Hugging Face 社区博客60

    Ai2 发布 FairStress 基准，测出 LLM 决策中的反刻板印象过度纠正

    Ai2 发布 FairStress 基准，用 300 个场景扩展成超过 1300 万测试用例，测量大语言模型在高风险决策中面对对抗前缀时的公平性。评测发现模型在身份信息显式时更易放弃支持少数群体编码候选人的正确决策，平均放弃差距为 6.9（隐含身份）至 9.3 个百分点（显式标签）。基准已开放下载并集成到 Olmo-eval，测试的九种去偏方法中仅反事实链式推理在保留准确率的同时缩小差距。

  16. Ai2 / Allen Institute for AI61

    Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称

    Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。

    推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。

10月20日周二
  8. Stanford HAI News67

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。

    推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。

  14. Artificial Analysis62

    Artificial Analysis 引用 Inception 发布 Mercury 3 扩散大语言模型的推文并澄清，图中对比并非其 Intelligence Index。Mercury 3 声称超过 1,000 tokens/s、1M token 上下文，规模为 Mercury 1 的 40 多倍。作者指出公告引用的 AA-Omniscience 和 GDPval-AA v2 分数不遵循其方法学：AA-Omniscience 使用私有数据集（仅开源 10% 公共子集），GDPval-AA v2 需按其评分方法与模型对比集才具可比性。

    引用Inception@_inception_ai

    Mercury 3 is live: the most capable diffusion LLM released to date. It outperforms GPT-6 Luna and Claude Haiku 5.5 across a range of benchmarks while running at over 1,000 tokens per second. More than 40x the size of Mercury 1, 3x more intelligent across standard benchmarks, and just as fast, with a 1M-token context window. Available today on the Inception API, @baseten, and @OpenRouter .

  17. Arena.ai74

    Arena 宣布 DeepSeek-V4.1-Flash-20261017 (Max) 成为 Agent Arena 第一开源模型，总排名第 11，基于超 7.5K 真实会话净提升 +5.1%。其中位任务成本 $0.20，约为 GPT-6.1 Sol 提升幅度的 37%、成本的 27%；Confirmed Success 提升 +11.5%，且无 Tool Hallucination 问题。

    引用Arena.ai@arena

    激动人心的消息：@deepseek_ai 的 DeepSeek-V4.1-Flash-20261017 (Max) 现已成为 Code Arena: WebDev 中排名第一的开源模型，以低 10 倍的成本超越 Kimi K3 (Max)！ 亮点： - 排名第一的开源模型，领先于 Kimi K3 (Max) - 以 1670 分位列总榜第 12，领先于 Claude Opus 5 (High)，与 GPT-6 Sol (Max) 相差约 10 分以内 - 以每百万输入/输出 token $0.3/$1.2 的价格推动帕累托前沿移动 - 相比上一版 DeepSeek-V4.1-Flash-20260910 提升 52 分 祝贺 @deepseek_ai 团队为开源生态又做出了一项强有力的贡献！

    推荐理由：Arena 用 7.5K 真实会话的数据说明该模型以约 27% 的成本拿下开源第一，读者可据此权衡 Agent 场景的性价比。