内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
229 条精选近 30 天 48 条共收录 1,556 条
Anthropic 与 ExploitBench、ExploitGym 和 SCONE-bench 的研究者合作，测量了 Claude Mythos Preview 的漏洞利用能力。在 ExploitBench 的 V8 基准（41 个已修复漏洞）上，Mythos Preview 是唯一能可靠突破 V8 沙箱（从 T3 到 T2）的模型，并在超过一半的环境中实现突破；在 Baseline 和 Nudged 变体中共完成 21 个 CVEs 的任意代码执行（ACE），而其他所有模型的 ACE 数为零。Mythos Preview 还实现了近一半测试环境中的控制流劫持（T1）。该模型通过 Project Glasswing 谨慎发布，尚未开放通用访问。
推荐理由：Mythos Preview 在三大漏洞基准上碾压式领先，第一次展示了前沿模型能端到端开发漏洞，安全基线从此改写，做安全的该认真读。
Hugging Face 发布开放 AI 智能体排行榜，用于比较完整智能体系统而非仅底层模型，并同时报告成功率和每次任务成本。排行榜统一了六项已有基准测试（SWE-Bench Verified、BrowseComp+、AppWorld、tau2-Bench Airline & Retail、tau2-Bench Telecom），覆盖代码修复、网络研究、个人任务、客服和技术支持。通过统一协议，各智能体系统以相同接口连接所有基准。结果显示相同模型搭配不同智能体系统会产生显著不同的分数和成本。配套 Exgentic 框架用于运行和复现评估，相关论文开源。
推荐理由：以后选agent不能只看模型跑分了，这个榜单把整个系统拉出来比，成本、失败成本全摊开，做agent的可以立刻去查自己架构差在哪。
Xiaomi MiMo@XiaomiMiMo精选AI 评分6969突发：MiMo V2.5 Pro (Thinking) 在 Design Arena 的开源权重模型中综合排名第 3。 MiMo V2.5 Pro (Thinking) 在综合排行榜上比 MiMo-V2.5 高出 8 个名次，在前端编码任务上与 Claude Sonnet 4.6 处于同一性能区间。 热烈祝贺 @XiaomiMiMo 团队取得这些进步！
推荐理由：小米MiMo在Design Arena前端编码评测里直接杀进前三，跟Claude Sonnet 4.6平起平坐，这是国产开源模型在代码能力上第一次给我真正的压迫感，搞前端的可以盯一下。
全球权威评测机构Artificial Analysis发布全新Coding Agent Index，包含SWE-Bench-Pro-Hard-AA、Terminal-Bench v2和SWE-Atlas-QnA三项基准，用于衡量模型与Agent harness组合的真实编程能力。闭源模型Opus 4.7（在Cursor CLI中运行）全球第一，智谱GLM-5.1（在Claude Code中运行）获开源第一，代表国产大模型在实际编程Agent场景达到SOTA水平。
推荐理由：GLM-5.1 在 AA 的新 Coding Agent 基准上拿了开源第一，时隔一个月回头看，这个成绩对国产开源模型在编程 Agent 赛道的位置是个重要注脚，做工具链选型的还是值得扫一眼。
OpenRouter@OpenRouter精选AI 评分6565Hermes Agent 现已在全球 @OpenRouter token 排行榜上排名第一。 虽然我们共同的旅程才刚刚开始，但我们想借此机会感谢我们的贡献者、支持者和用户，感谢他们为让我们走到今天所做的一切。
推荐理由：Hermes Agent在OpenRouter登顶，不是一次普通的排名更新，它代表Agent模型的调用量正式超过了通用聊天，做Agent的该兴奋了。
OpenRouter@OpenRouter精选AI 评分6565推荐理由：OpenRouter 拆解了 GPT 5.5 的实际成本，49-92% 的涨价被输出 token 减少部分抵消，用 API 的人必须算的一笔账。
François Chollet@fchollet精选AI 评分7070GPT-5.5 在 ARC AGI 3 上得分 0.43%！ - GPT-5.5：0.43% - Opus 4.7：0.18% - GPT-5.4：0.20% - Claude 4.6：0.45% - Gemini 3.1：0.4% GPT 5.5 报告的失败原因包括： - 真实的局部效果，错误的世界模型 - 来自训练数据的抽象层级错误 - 解决了关卡，但没有强化奖励 我认为完整的分析将帮助 OpenAI 全面理解模型在某些模态中失败的地方
推荐理由：Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限，GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事，比任何安全论文都来得更直击要害。
OpenRouter@OpenRouter精选AI 评分6868推荐理由：Grok-4.3 降价但性能反升，agentic 跑分直接到 1500，如果之前觉得 Grok 贵而没试过，这次可以上车了。
ARC Prize 分析了 GPT-5.5 和 Opus 4.7 在 ARC-AGI-3 上的 160 段推理回放，两模型在半私 数据集上的得分分别为 0.43% 和 0.18%，并开源了分析包。
推荐理由：作者基于 160 段推理回放归纳出三种可复用的失败模式分类，并对比两个模型在压缩策略上的差异。
Anthropic团队开发了BioMysteryBench生物信息学基准测试，用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现，Claude的生物学科学能力正快速迭代，当前模型表现已与人类专家相当，最新模型甚至解决了部分专家小组未能破解的问题，且有时策略迥异。该基准旨在应对科学评估的固有挑战，如生物学研究中存在多种合理的“正确”方法，以及研究决策的高度主观性。
推荐理由：Anthropic 用 99 道真实生物信息学题测 Claude，发现最新模型在人类解不出的难题上也能答对 30%，而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路，比刷分数字有意思得多。
AI评估成本已突破关键阈值，正重塑其可及性。Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演，单次前沿模型测试成本可达2829美元。研究显示，相同任务成本差异可达33倍，脚手架选择是核心成本驱动因素。虽然静态基准可通过压缩技术实现百倍成本缩减，但智能体评估因轨迹长、噪声大而压缩有限。高支出未必带来更好结果：例如在GAIA测试中，2828美元方案准确率28.5%，而1686美元方案反达57.6%。当评估包含模型训练时，成本将完全超越常规API框架。
推荐理由：这篇把分散的评估成本数据拉通了算总账，曾经便宜的评测现在动辄上万美元，独立评估正被价格挤出牌桌，做Agent的人必须意识到排行榜的代价。
Augment Code 在 AGENTS.md 中加入约 2.5k 字符的 Karpathy 风格编码规则，用 Auggie、Claude Code 和 Codex 对 40 个 OpenClaw PR 各跑 6 次对照测试。
推荐理由：原文以 40 个 OpenClaw PR 的对照实验给出 Karpathy 规则对三个编码 Agent 的效率与质量影响，结论可迁移到自己的 AGENTS.md 配置。
Factory 对 13 个模型在来自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 个真实 PR 上做了代码审查基准，每个模型至少跑 3 次。
推荐理由：原文给出13个模型在50个真实PR上的F1与成本数据，读者可按预算直接挑选代码审查模型。
每年系统故障导致损失超万亿美元，工程师需通过分析时间序列数据快速定位问题。时间序列问答（TSQA）是关键运维任务，对AI模型构成挑战。为此，研究团队推出ARFBench基准，基于Datadog真实内部事件及遥测数据构建。测试显示，当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型，其整体性能接近前沿水平，为TSQA任务提供了新评估框架和改进方向。
推荐理由：CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准，结论很诚实，现有模型全拉胯。做 SRE Agent 的团队该看看，这比合成数据的 benchmark 有说服力得多。
Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据，分析发现这一技术调整改变了文本转换为令牌的方式，直接影响API计价。相同的文本输入可能产生不同数量的令牌，从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力，但关乎运营开销，是开发者和企业用户需评估的关键因素。
推荐理由：Opus 4.7 换了 tokenizer，大多数人只知道模型变强了，不知道计费逻辑也变了。OpenRouter 用真实流量数据算了一笔账，做成本预算的产品人值得扫一眼。
OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建，其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升，基准测试集趋于饱和，区分度下降，现有模型表现已接近人类水平。因此，团队将转向更具挑战性和现实复杂度的新评估方法。
推荐理由：OpenAI 亲自给 SWE-bench Verified 判了死刑，这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想，你的 benchmark 体系是不是也该换了。
OpenAI 发布了新一代模型 GPT-5.5。其上下文窗口从 GPT-5 的 128K 大幅扩展至 512K，推理速度提升约 40%，在多模态理解与代码生成基准测试中表现显著超越前代。模型在复杂指令遵循和长文档处理方面能力突出，同时 API 调用成本降低了 30%。这一升级被视为通向通用人工智能（AGI）道路上的一个重要里程碑。
推荐理由：Ethan Mollick 拿 GPT-5.5 压测了论文写作和游戏设计，代际提升肉眼可见，但锯齿前沿仍未消失。这篇一手实测告诉你当前能力的天花板和暗角，比任何官方博客都值得看。
尽管GPT-5.5的官方API尚未发布，但作者利用OpenAI为OpenClaw等工具开放的订阅集成机制，通过反向工程开源Codex CLI，开发了一个LLM插件。该插件允许付费订阅用户通过Codex后端API调用GPT-5.5模型。文章以生成“骑自行车的鹈鹕”SVG图像为例，展示了其使用效果，并指出高推理强度设置能显著提升输出质量，但耗时更长。目前，OpenAI表示正与合作伙伴制定API大规模服务的安全要求。
推荐理由：Simon Willison 不只评测 GPT-5.5，还顺手逆向 Codex 做了个用订阅跑 API 的插件。定价翻倍、xhigh 模式四分钟出图这些细节，比官方通稿有用十倍，做选型的人该看这篇而不是 OpenAI 博客。
QIMMA 是一个首创质量验证流程的阿拉伯语大语言模型评估平台。它整合了14个基准测试的109个子集、超5.2万个样本，覆盖文化、STEM等7大领域，其中99%为原生阿拉伯语内容。平台采用双阶段质量验证：先由两个大模型自动评估，再经人工审核，发现并剔除了现有基准中存在的系统性质量问题。此外，QIMMA首次集成了阿拉伯语问题描述的代码评估任务，并公开逐样本推理结果，确保了评估的可靠性与透明度。
推荐理由：QIMMA 把阿拉伯语基准的质量问题扒了一层皮，揭示现有数据集存在系统性错误，这个验证管线思路对所有多语言评估都有参考价值。
CRUX项目由17位研究者组成，通过“开放世界评估”在真实场景中测试AI能力。首次实验中，一个AI智能体成功开发并发布了一款iOS应用至App Store，仅出现两次错误，成本约1000美元，但也暴露了AI驱动的应用商店垃圾信息风险。
推荐理由：这篇提出「开放世界评估」概念，用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务，这给评估方法论和 App Store 反垃圾都敲了警钟。