内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
229 条精选近 30 天 48 条共收录 1,555 条
有效的评估能帮助团队更自信地发布AI智能体，避免陷入仅在生产环境被动发现问题、修复可能引发新问题的循环。智能体因其多轮操作的自主性与灵活性，评估更为复杂。一个完整的评估结构包含任务、评分器、记录、结果、评估框架与评估套件等核心组件。缺乏系统评估将导致团队无法区分真实的质量倒退与随机波动。建立评估体系能帮助团队在智能体规模化过程中持续监控质量、自动测试变更并量化改进效果，其价值在智能体整个生命周期内持续累积。
推荐理由：Anthropic 把内部踩过的坑全摊开了，从 eval 设计到 grader 选型到 transcript 审读，是目前最完整的 Agent 评估工程指南，做 Agent 产品的团队可以直接当手册用。
Dan Hendrycks@hendrycks精选AI 评分7878推荐理由：该评测由知名 AI 安全研究者主导，数据维度全面（文本、视觉、安全），且直接对比当前头部模型，为读者提供了可量化的横向参考；尤其安全指标反常识（越低越好），有助于理解“能力”与“安全性”的权衡，对选型和风险评估有实用价值。
Hugging Face 的 Open ASR 排行榜新增多语言和长格式语音识别评估赛道。多语言赛道涵盖8种语言，长格式赛道则测试模型处理连续数分钟语音的能力。新榜单显示，领先模型在多语言任务上的词错误率平均比专用单语模型高约15%，在长格式任务上错误率可能上升超20%，凸显了模型在实际应用中的泛化能力仍面临严峻挑战。
推荐理由：ASR排行榜新增多语言和长形式评估，助力开发者优化语音应用。
Dan Hendrycks@hendrycks精选AI 评分8585推荐理由：该基准由知名 AI 安全研究者主导，具有较高公信力；首次系统性量化对比多模型在推理、编码、视觉等核心能力上的表现，尤其凸显 Gemini 3 Pro 的突破性进步，为公众和行业提供了权威参考依据，值得关注。
Hugging Face 推出 BigCodeArena，一个通过真实代码执行进行人类评估的代码生成模型对比平台，支持 10 种语言和 8 种执行环境，无需注册即可使用。
推荐理由：平台用真实执行反馈让用户对比代码模型，五个月社区数据还给出了各模型在不同语言和运行环境下的强弱分布。
TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI RFT（o4-mini）与 SFT（GPT-4.1 mini）。
推荐理由：作者用三个真实任务实测 OpenAI RFT 与 SFT 的效果和成本差距，给出了按任务类型判断 RFT 是否值得用的可比结论。
Meta 在 Hugging Face 发布 GAIA 的后续基准 Gaia2，以及开源评估框架 Meta Agents Research Environments（ARE，MIT 许可），Gaia2 数据集采用 CC BY 4.0 许可。
推荐理由：原文给出新基准的任务分组、开源许可和初步模型结果，读者可据此评估现有模型在真实世界智能体任务上的短板。
Noam Brown@polynoamial精选OpenAI 推理系统在 2025 ICPC 世界总决赛中获得 12/12 满分，成绩相当于人类参赛者第一名。其中 11 道题目由 GPT-5 解决。
1/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：GPT-5在ICPC世界总决赛获满分，编程推理能力达人类冠军水平
OpenAI@OpenAI精选OpenAI 推理系统在 2025 ICPC 世界总决赛中解出全部 12 道算法题，获得 12/12 满分。该成绩在所有人类参赛队伍中排名第一，足以夺得冠军。
1/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：通用推理模型首次在顶级编程竞赛击败人类冠军，算法岗竞争格局或将重塑
Jakub Pachocki@merettm精选AI 评分77771/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：AI首次在ICPC总决赛拿满分并超越人类最强，这不是又一个刷榜新闻，而是推理模型在算法思维上开始与顶尖人类选手平起平坐的信号。做coding agent的同行该严肃对待了。
Google DeepMind@GoogleDeepMind精选Gemini 2.5 Deep Think 进阶版在 ICPC 2025 世界编程大赛中取得金牌水平成绩。继 IMO 数学竞赛后，这是该模型在竞技领域取得的又一历史性突破。
推荐理由：Gemini 2.5 Deep Think 在 ICPC 编程竞赛中达到金牌水平，AI 推理能力再获突破
Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。
推荐理由：原文同时给出诊断准确率与虚拟成本两个维度的结果，并明示研究局限和未开放状态，读者可据此评估医疗 AI 的实际边界。
Saining Xie@sainingxie精选所以这不是一个针对软件工程智能体的基准测试。它旨在通过编程测试核心推理与智能——由一些顶尖竞技程序员撰写的 71 页深度分析作为支撑。
我们推出 LiveCodeBench Pro，一个实时、极具挑战性的基准测试，包含来自 IOI、Codeforces 和 ICPC 的竞赛编程题目。 诸如 o3 和 Gemini 2.5 等前沿模型在 Hard 划分上得分为 0%。 排行榜：https://livecodebenchpro.com/ https://t.co/pwxQNicEnr
推荐理由：o3与Gemini 2.5在IOI级竞赛题上零分，LLM推理天花板显现
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，ARC-AGI-2 上则全数近乎失败，最高仅 Claude Opus 4 的 8.6%。文章指出测试时计算扩展方法堆叠可提升准确率但效率大幅下降，ARC-AGI-2 上的一致性差说明前沿系统存在共同局限，AGI 仍需新想法。
推荐理由：官方实测给出了各推理系统在 ARC 上的准确率与成本双轴数据，读者可据此按自身需求选型而非追单一赢家。
ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%，o3-medium 达 53%，两者在 ARC-AGI-2 上均未超过 3%；o4-mini-low 在 ARC-AGI-1 得 21%。
推荐理由：ARC Prize 公布了自家基准上 o3 与 o4-mini 的完整实测数据和高推理档的失真问题，读者可借此校准对推理档位选择的预期。
ARC Prize 官方测试报告显示，OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%，高算力（172 倍）配置达 87.5%，Public Eval 高算力为 82.8%、低算力为 91.5%。
推荐理由：ARC Prize 官方第一手测试数据，给出 o3 在 ARC-AGI 各算力档位的得分、成本和机制解读。
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。
推荐理由：ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析，读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。