跳到正文
只看观点#评测/基准
10月28日周三
10月20日周二
10月14日周三
10月7日周三
  1. Microsoft Research 博客45

    Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时深入检查数据的重要性。

10月5日周一
10月1日周四
9月30日周三
  3. Noam Brown54

    Noam Brown 表示很高兴看到 OpenAI 以成本为坐标展示模型评测，认为应该把智能作为成本的函数来衡量。其引用的 OpenAI 内容称 GPT-6.1 Sol 以五分之一的价格提供接近 GPT-6 Astra 的智能，是当前同性能下最具成本效率的模型；配图为 Terminal-Bench Science 0.1 上各模型得分与每任务成本的对比曲线。

    引用OpenAI@OpenAI

    GPT-6.1 Sol：以五分之一的价格提供接近 Astra 的智能。 它是当今可用的、在其性能水平上最具成本效益的模型。

9月24日周四
9月21日周一
9月15日周二
  1. Trail of Bits：AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导，并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告，称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真，包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试，以及不同推理档位设置。

    推荐理由：原文针对1Password基准的26%头条数字给出逐项方法学批评，并补充自身人类修复失败率与开源合并数据作对照。

9月10日周四
  1. Rohan Paul51

    Rohan Paul 引用 Andon Labs 的 Vending-Bench 2 结果，GPT-6 Astra 平均赚 $15,515，六次独立运行中 Claude Fable 5.1 平均 $5,422。

    引用Andon Labs@andonlabs

    We've never seen this before. The biggest jump in Vending-Bench history. GPT-6 Astra is better at making money and more ethical than Claude Fable 5.1. Surprising, because: 1. First time ever that OpenAI is #1 on Vending-Bench 2. The best model is no longer the unethical one.

9月9日周三
  1. Rohan Paul62

    Meta 的 Muse Spark 1.3 Max 在 Code Arena WebDev 类别以 1650 分、混合价 $3.50/M tokens 排名总榜第 8，是 $5/M 以下得分最高的模型。

    引用Arena.ai@arena

    Muse Spark 1.3 Max by @AIatMeta has reshaped the Pareto frontier for Code Arena: WebDev! Meta's latest model at Max reasoning is doing something interesting on the Arena Pareto frontier: it's the only model holding down the wide price band between Qwen3.8-max ($5/MToken) and Qwen3.8-Flash-Next ($0.39/MToken). The next closest model to the frontier is Meta's own, Muse Spark 1.3 on xHigh reasoning. Muse Spark 1.3 Max performs just 20 pts lower than Qwen3.8 (Max) while costing 30% less, and 24 pts from Kimi K3 (Max) while costing 70% less. - Muse Spark 1.3 Max: 1650 pts | $3.50/M - Qwen3.8 (Max): 1670 pts | $5/M - Kimi K3 (Max): 1674 pts | $12/M Overall in Code Arena: WebDev, Muse Spark 1.3 Max landed #8, ahead of Claude Fable 5 at #10 (+22 pts), Grok-4.6 (High) at #12 (+26 pts), and GPT-5.6 Sol at #14 (+33 pts). Congrats to the @AIatMeta team on this release!

9月7日周一
9月4日周五
  1. Rohan Paul61

    Epoch AI 评测显示 GPT-6 Astra 以 169 分创下 ECI（Epoch Capabilities Index）新纪录，较此前最高分 163 提升 6 分，但在其推理时代趋势的不确定区间内。

    引用Epoch AI@EpochAIResearch

    GPT-6 Astra has set a new ECI record, with a score of 169. This is a substantial jump from the prior best (163), but is within our uncertainty range for the reasoning-era ECI trend. Astra also set new records on our math, continual learning, and game-puzzles benchmarks. On our long-horizon coding benchmark, MirrorCode, Astra ranks between Opus 4.7 and Fable 5. OpenAI gave us pre-release access to test Astra. Charts and more details for Astra’s individual benchmark results in the thread.

  2. Sherwin Wu60

    GPT-6 Astra 在 Mercor 的 APEX-Agents 排行榜首次上榜即排名第一，Mean score 62.4%（第1），Pass@1 46.7%（第2），Mean 领先 Fable 5.1 0.4 分、Pass@1 落后 0.8 分。

    引用Mercor@mercor

    GPT-6 Astra debuts on APEX-Agents at #1 on the leaderboard. 🥇 62.4% Mean score (#1) 🥈 46.7% Pass@1 (#2) It leads Fable 5.1 by 0.4 points on mean score and trails it by 0.8 on Pass@1. APEX-Agents runs long-horizon tasks written by bankers, consultants, and corporate lawyers in our expert network. Against its predecessor GPT-5.6 Sol, Astra moves up 6 places on our leaderboard. It gains 5.7 points on mean and 6.7 on Pass@1. All three domains moved by at least 4.5 points, so this is a broad gain rather than one job pulling the average up. Congratulations to @OpenAI. See full leaderboard: https://www.mercor.com/apex/apex-agents-leaderboard/

  3. François Chollet81

    François Chollet 发文称 GPT-6 Astra 在交互式推理任务上带来阶跃式能力提升，使用标准 harness 在 ARC-AGI-3 上得 66%，配合持续对话 harness 和自定义 compaction 接近 100%，每局成本约 $360。

    推荐理由：ARC Prize 作者基于自家标准 harness 的实测数据评估 GPT-6 Astra，读者可对比 66% 与近 100% 两种设置看模型与 harness 能力的边界变化。

9月2日周三
  1. Rohan Paul68

    @arcprize 公布 Anthropic 的 Fable 5.1 在 ARC-AGI（Verified）上的成绩：ARC-AGI-2 得分 90.0%，成本 $3.12/task；ARC-AGI-1 得分 97.5%，成本 $1.40/task。两个基准上平均单任务成本比 Fable 5 低约 32%，主要来自更好的 token 效率。

    引用ARC Prize@arcprize

    Fable 5.1 from @AnthropicAI on ARC-AGI (Verified): - ARC-AGI-2: 90.0%, $3.12/task - ARC-AGI-1: 97.5%, $1.40/task Across the two benchmarks, Fable 5.1's average cost per task is about 32% lower than Fable 5's, driven by better token efficiency.

8月26日周三
8月24日周一
  1. a16z：News56

    预言机问题：AI 与医疗领域一个看不见的瓶颈

    医疗 AI 面临“预言机问题”：临床决策主观、底层数据不透明、评测易沦为营销，导致医院难以客观评估模型优劣。OpenAI 报告每周超 3 亿人用 ChatGPT 咨询健康问题，2026 年每百万条病历中约 1,686 条记录患者对模型回答的追问。a16z 正与 Protege 合作，试图通过追踪患者长期结局来解决这一评估难题。

8月15日周六
8月13日周四
  1. Rohan Paul43

    Kimi K3 (Max) 在 Code Arena: WebDev 中以 1674 分领先 DeepSeek-V4-Pro (Max) 的 1607 分，但后者输入/输出价格分别便宜约 6.9 倍和 17.2 倍。

    引用Arena.ai@arena

    Big news: DeepSeek-V4-Pro (Max) by @deepseek_ai is coming in around ~#8 overall (#2 among open models) in the Code Arena: WebDev! At 1607 pts, this places it after GPT-5.6 Sol (xHigh)(1622 pts), and makes it the second best open model after Kimi K3 (Max) (1674 pts). Note: this is an early AutoEval score, in which a Reward Model trained on Arena's human preference data casts automatic votes in place of live votes. We’ll continue to see how scores converge as more live human votes come in. See thread for Text Arena scores and more on AutoEval's methodology. Congrats to the @deepseek_ai team on this release!

8月10日周一
8月8日周六
  1. Rohan Paul50

    Meta 的 Muse Spark 1.2 (xHigh) 在 Text Arena 排名第 4（1498 分），重塑了该榜单的成本-质量帕累托前沿。相比榜首 Claude Fable 5（1507 分/$40M），其评分仅低 9 分，但标准化价格降低约 91%，按混合费率计为 $3.50M。该模型定价 $1.25/$4.25 每百万 token。

    引用Arena.ai@arena

    Exciting news: Muse Spark 1.2 (xHigh) by @AIatMeta is #4 in the Text Arena (1498 pts), and has reshaped the Pareto frontier! It is priced at $1.25/$4.25 per MToken. Congrats again to the @AIatMeta team on this release!

8月6日周四
8月4日周二
  1. TechCrunch：AI69

    Siri AI 上线，但为何令人感觉平淡？

    Siri AI 已随 7 月发布的 iOS 27 消费者测试版上线，能理解个人上下文、调用世界知识回答问题，并支持自然对话、打字输入及独立应用。该功能由 Apple 与 Google 合作，利用 Gemini AI 模型训练自有 Apple Foundation Models，可在 Apple Silicon 和 Private Cloud Compute 上运行。

8月3日周一
  1. The Decoder：AI News42

    Karpathy 用 Claude Opus 5 将《指环王》段落转为 3D 场景

    Andrej Karpathy 让 Claude Opus 5 将《指环王》开头一段文字转化为 3D 浏览器场景，生成 5,500 行代码，耗时约两小时，花费约 10 美元。模型自主放置和动画化物体，但因只能通过截图检查视频输出而出现错误。Karpathy 认为这展示了按需生成廉价定制游戏世界的潜力，并称鹈鹕测试已接近上限，此类结果更多是氛围测试而非硬性基准。

7月30日周四
  2. Rohan Paul41

    OpenAI通过Responses API启用保留推理链的previous response IDs和压缩历史记录的compaction两项设置，使GPT-5.6 Sol在ARC-AGI-3公开集得分从13.3%升至38.3%，同时输出token减少6倍。此前官方评测清空推理过程并删除超出上下文窗口的历史动作，导致模型需反复重建游戏规则。

    引用Tibo@thsottiaux

    Turns out GPT-5.6 Sol is actually SoTA on ARC-AGI-3. Just took two setting changes. You just have to allow it to reason and work over multiple context windows with the help of our canonical compaction implementation. https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/

7月24日周五
7月19日周日
  1. Rohan Paul42

    Kimi K3 在 DeepSWE 基准测试中排名第三，与 Claude Fable 和 GPT-5.6 Sol 并列，成为首个达到此成绩的开源权重模型。其得分从 K2.7-code 的 31 分跃升至 69 分，提升 38 分。DeepSWE 测试智能体在真实代码库中完成多文件修改的能力，是衡量端到端软件工程能力的强信号。

    引用Datacurve@datacurve

    Kimi K3 debuts at #3 on DeepSWE. It's the first open-weights model that delivers frontier-level performance, achieving results similar to Claude Fable and GPT-5.6 Sol.

7月18日周六
  1. Rohan Paul56

    领先开源模型在长周期网络能力上已追近闭源前沿，差距从2025年大部分时间的6-10个月缩至4-7个月。GLM-5.2在长周期网络靶场中匹配了约7个月前发布的Claude Opus 4.5。OpenAI的GPT-5.6 Sol在32步“The Last Ones”靶场中10次尝试完成7次，且性能随推理token增加而提升。

    引用OpenAI@OpenAI

    GPT-5.6 Sol sets a new state of the art in cybersecurity on “The Last Ones” cyber range. We’re already seeing that capability translate into defensive outcomes: helping teams find, validate, and fix vulnerabilities in real-world code. Put it to work with Codex Security: https://openai.com/daybreak/codex-security-plugin/#desktop-codex

  2. Artificial Analysis76

    过去八天内，Grok 4.5、GPT-5.6、Muse Spark 1.1 与 Kimi K3 四款前沿模型相继发布，使 Artificial Analysis Intelligence Index 得分超 50 的实验室从 6 月初的 2 家增至 6 家。

    推荐理由：八天四个前沿模型，Frontier 从两家实验室变成六家，前三名分差仅三分，而且价格正在暴跌，模型选型的逻辑从「谁第一」变成了「够用且便宜」——对产品经理来说是真正的转折点。

  3. Claude：Blog64

    Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高

    Cursor 的模型评估负责人 Nate Schmidt 发现，Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%，创下新高。该模型在模糊的真实编程任务中表现出全局推理能力，例如在航天模拟器中仅凭一句提示自主规划并成功登月，而此前 Claude Opus 运行 12 小时以上仍无结果。

    推荐理由：Cursor 工程师用自家基准和太空模拟器实打实测试了 Claude Fable 5，从全局推理到自主规划路径的能力跃迁很具体，做编码 agent 的可以看看这个‘p99 问题’解法。

7月17日周五
  1. Rohan Paul43

    Kimi K3在Frontend Code Arena中以1679分超越Claude Fable 5登顶第一，较前代Kimi K2.6跃升17位。其定价为$3/$15（输入/输出每百万token），仅为Fable 5（$10/$50）和GPT-5.6 Sol（$5/$30）的约三分之一。完整模型权重将于7月27日前开源。

    引用Arena.ai@arena

    Big news: Kimi-K3 by @Kimi_Moonshot is now #1 in the Frontend Code Arena with 1679 pts, surpassing Claude Fable 5. This is a 17-place jump from Kimi-k2.6 (#18 -> #1). In Frontend, Kimi-K3 ranked #1 in 6 of 7 domains: Brand & Marketing, Reference-Based Design, Data & Analytics, Consumer Product, Simulations, and Content Creation Tools, landing #2 only in Gaming behind Fable 5. The full model weights will be released by July 27. Congrats to the @Kimi_Moonshot team on this major milestone!

7月14日周二
  1. Artificial Analysis60

    Artificial Analysis 联合创始人在 AI Engineer World’s Fair 上指出，完成复杂智能体任务的成本正在上升。团队推出新基准 AA-Briefcase，用于衡量模型在多周项目、数千输入文件的长周期知识工作能力。任务总成本由四因素决定：token 价格持续下降，但模型智能与 token 用量增长更快；智能体任务需多轮交互，历史输出转为输入导致成本累积；不同模型完成相同任务的 token 效率差异显著；长任务中提示词缓存命中率对降低输入成本至关重要。

7月12日周日
  1. Elon Musk62

    Elon Musk 发推称 Grok 是“最政治中立、最客观求真”的 AI。引用推文指出，独立研究项目 The Neutrality Project 测试了 18 个 AI 模型在 60 个立场上的倾向，平均得分为 -0.41（左倾），而 Grok 4.5 得分为 -0.02，是唯一接近中点的模型，被认定为最中立。研究认为其他公司大规模向 AI 注入左翼意识形态。

    引用Brivael Le Pogam@brivael

    Encore un scandale. On accuse Elon Musk sans arrêt de se servir de Grok pour faire passer ses idées. Pourtant, le @neutralityorg vient de sortir The Neutrality Project : une étude indépendante qui prouve l’inverse. Sur 18 modèles IA testés, 54 positions sur 60 atterrissent à gauche du centre. Moyenne globale : -0.41 (biais progressiste massif, surtout environnement et valeurs sociales). Et Grok 4.5 ? -0.02. Le modèle le plus neutre de tout le benchmark. Le seul vraiment proche du centre. Pendant ce temps, les autres boîtes injectent massivement leur idéologie de gauche dans des IA qui répondent à des milliards de questions par jour. Manipulation des masses à grande échelle. C’est absolument scandaleux. Ça devrait être un scandale mondial. https://x.com/neutralityorg/status/2076028460066283859