Noam Brown@polynoamial精选OpenAI 推理系统在 2025 ICPC 世界总决赛中获得 12/12 满分，成绩相当于人类参赛者第一名。其中 11 道题目由 GPT-5 解决。
1/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：GPT-5在ICPC世界总决赛获满分，编程推理能力达人类冠军水平
OpenAI@OpenAI精选OpenAI 推理系统在 2025 ICPC 世界总决赛中解出全部 12 道算法题，获得 12/12 满分。该成绩在所有人类参赛队伍中排名第一，足以夺得冠军。
1/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：通用推理模型首次在顶级编程竞赛击败人类冠军，算法岗竞争格局或将重塑
Jakub Pachocki@merettm精选AI 评分77771/n 我非常激动地分享，我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分，这是首屈一指的大学编程竞赛，来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇
推荐理由：AI首次在ICPC总决赛拿满分并超越人类最强，这不是又一个刷榜新闻，而是推理模型在算法思维上开始与顶尖人类选手平起平坐的信号。做coding agent的同行该严肃对待了。
Google DeepMind@GoogleDeepMind精选Gemini 2.5 Deep Think 进阶版在 ICPC 2025 世界编程大赛中取得金牌水平成绩。继 IMO 数学竞赛后，这是该模型在竞技领域取得的又一历史性突破。
推荐理由：Gemini 2.5 Deep Think 在 ICPC 编程竞赛中达到金牌水平，AI 推理能力再获突破
Jim Fan@DrJimFan(1/N) How close are we to enabling robots to solve the long-horizon, complex tasks that matter in everyday life? 🚨 We are thrilled to invite you to join the 1st BEHAVIOR Challenge @NeurIPS 2025, submission deadline: 11/15. 🏆 Prizes: 🥇 $1,000 🥈 $500 🥉 $300 https://t.co/W63PyzBcMk
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
Hao AI Lab@haoailab[Lmgame Bench] 🏆祝贺 o3 强势夺得首届 AI 国际象棋锦标赛冠军！同时祝贺 grok-4 和 gemini-2.5-pro 分获亚军和季军！
What a show! The Kaggle Game Arena AI Chess Exhibition Tournament is complete, and the winner is O3 🏆! A huge thank you to everyone who tuned in and to our amazing partners @MagnusCarlsen, @GMHikaru, @GothamChess and @DavidHowellGM for the fantastic commentary and analysis on @chessom and @TakeTakeTakeApp. 👏
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 "LLM with Search" 榜单上以 40.52 分登顶，成为得分最高的全开源许可方案。
LangSmith 发布新功能 Align Evals，帮助用户校准 LLM 评估器，使其更贴合人类偏好。该功能旨在简化评估流程，减少人工标注与自动评估之间的偏差，提升评估结果的可信度。
Hugging Face 发布开源基准 TimeScope，通过在 1 分钟到 8 小时的视频里插入 5-10 秒的短片段“针”，评估模型的局部检索、信息合成和细粒度时序感知三类能力。实测显示多数先进模型在超过约 256 帧后性能明显下滑，Gemini 2.5-Pro 是唯一在超过 1 小时视频上保持较高准确率的模型；数据集、排行榜和 lmms-eval 评测框架均已开源。
OpenAI Developers 博客发布了关于评估（Evals）的最佳实践指南，内容涵盖如何规划、运行以及迭代评估流程。该资料仅提供了标题和简短描述，指向官方文档链接，未包含具体技术细节或案例。
Noam Brown@polynoamialHugging Face 发布 FutureBench，用真实预测市场和新闻生成的任务评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻生成预测问题，并接入 Polymarket 每周约 8 个问题，采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。由于未来数据无法被训练，该设计从机制上避免了数据污染。
英国 AI Security Institute 牵头，新加坡、日本、澳大利亚、加拿大、欧盟委员会、法国、肯尼亚、韩国等参与第三次国际联合测试演习，聚焦 LLM 智能体评测最佳实践。
英国 AI Security Institute 提出用贝叶斯广义线性模型（GLM）在开展模型评估的同时评估 autograder 本身的质量。该方法通过线性预测器分离各因素贡献，支持二值、序数、计数等多种评分尺度，并借助后验分布处理数据噪声大或样本有限的情况。论文中的统计模型与可复现 notebook 已在 GitHub 开源。
Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。
推荐理由：原文同时给出诊断准确率与虚拟成本两个维度的结果，并明示研究局限和未开放状态，读者可据此评估医疗 AI 的实际边界。
Saining Xie@sainingxie精选所以这不是一个针对软件工程智能体的基准测试。它旨在通过编程测试核心推理与智能——由一些顶尖竞技程序员撰写的 71 页深度分析作为支撑。
我们推出 LiveCodeBench Pro，一个实时、极具挑战性的基准测试，包含来自 IOI、Codeforces 和 ICPC 的竞赛编程题目。 诸如 o3 和 Gemini 2.5 等前沿模型在 Hard 划分上得分为 0%。 排行榜：https://livecodebenchpro.com/ https://t.co/pwxQNicEnr
推荐理由：o3与Gemini 2.5在IOI级竞赛题上零分，LLM推理天花板显现
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，ARC-AGI-2 上则全数近乎失败，最高仅 Claude Opus 4 的 8.6%。文章指出测试时计算扩展方法堆叠可提升准确率但效率大幅下降，ARC-AGI-2 上的一致性差说明前沿系统存在共同局限，AGI 仍需新想法。
推荐理由：官方实测给出了各推理系统在 ARC 上的准确率与成本双轴数据，读者可据此按自身需求选型而非追单一赢家。
OpenAI 发布医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
英国 AI Security Institute 提出 HiBayES，一个基于分层贝叶斯广义线性模型（GLM）的统计建模框架，用于改进 LLM 评估。该框架通过多层 GLM、贝叶斯数据分析与信息准则模型比较三部分，解决传统 t 检验忽视评估数据层级结构、样本量小、LLM 输出随机等问题。
ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%，o3-medium 达 53%，两者在 ARC-AGI-2 上均未超过 3%；o4-mini-low 在 ARC-AGI-1 得 21%。
推荐理由：ARC Prize 公布了自家基准上 o3 与 o4-mini 的完整实测数据和高推理档的失真问题，读者可借此校准对推理档位选择的预期。
Sierra 研究团队开发的 𝜏-bench（tool-agent-user benchmark）已成为 AI 智能体评估的重要基准，被学术界和工业界广泛采用。
OpenAI 发布 SWE-Lancer 基准，探讨前沿大语言模型能否通过真实世界的自由职业软件工程任务赚取 100 万美元。当前仅有官方摘要，基准的任务构成与具体结果暂未公布。
ARC Prize 团队推出实验性基准 SnakeBench，用 2.8K 场 2v2 之外的 LLM 贪吃蛇对战测试 50 个模型的动态环境决策能力。o3-mini（ELO 1825）和 DeepSeek-R1（1801）居前二，推理模型合计赢下 78% 对局；榜单和代码开源，详见 https://arcprize.org/blog/snakebench。
METR 对 Anthropic 升级版 Claude 3.5 Sonnet（2024 年 10 月版）和 OpenAI o1 部署前检查点进行初步评测，未发现危险能力水平的显著证据。
ARC Prize 官方测试报告显示，OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%，高算力（172 倍）配置达 87.5%，Public Eval 高算力为 82.8%、低算力为 91.5%。
推荐理由：ARC Prize 官方第一手测试数据，给出 o3 在 ARC-AGI 各算力档位的得分、成本和机制解读。
Hugging Face 联合 Inception 与 MBZUAI 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标。3C3H 基于 LLM-as-judge，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分，兼顾事实性与可用性。榜单采用三个月盲测周期的动态评测策略，数据集与评测代码在周期结束前保持私有，以缓解数据污染问题。
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
英国 AI Security Institute 宣布推出 Inspect Evals，一个社区共建的 LLM 基准评测仓库，与 Arcadia Impact 和 Vector Institute 合作开发，提供数十个面向安全研究的开源评测，覆盖编码、数学、网络安全、防护、推理和通识等领域。
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景，评估智能体完成相关工作的能力。
英国 AI Security Institute 分享了其开发开放式问答（QA）评测的经验，该评测通过提示模型回答数百个问题并自动评分，比多选题更能反映真实对话场景。评测通过其开源框架 Inspect 运行，答案通常为 100 至 400 词，开发流程涵盖起草有挑战性的问题、编写细致的评分指南等五个步骤。
Chatbot Arena 正式启用独立网站 lmarena.ai 及博客，从 LMSys 研究集体中独立运营以确保长期发展。该平台过去一年已发展为成熟的生态系统，未来将与 LMSys 保持紧密合作，并扩展评估范围至编程、复杂任务和红队测试等前沿模型领域。LMSys 将继续作为 Vicuna、SGLang 等项目的孵化器，专注于开放研究与开发。
DeepSeek-V2.5 在 LMSYS ChatBotArena（全球大模型竞技场）榜单中上榜，创下国产大模型在该竞技场的最高得分记录。
ARC Prize 公布 2024 赛事 3 个月进展，Grand Prize 从 $500k 提高到 $600k，Paper Awards 从 $50k 提高到 $75k，SOTA 从 34% 升至 46%。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。
推荐理由：ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析，读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Chatbot Arena 团队发布经风格控制调整后的新排行榜，通过 Bradley-Terry 回归控制回答长度及 markdown 格式（标题、加粗、列表）的影响，将模型实质能力与表达风格解耦。调整后排名出现显著变化：GPT-4o-mini 和 Grok-2-mini 排名降至多数前沿模型之下，而 Claude 3.5 Sonnet、Opus 和 Llama-3.1-405B 显著上升。在 Hard Prompt 子榜中，Claude 3.5 Sonnet 与 chatgpt-4o-latest 并列第一，Llama-3.1-405B 升至第三。
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
