#评测/基准

Artificial Analysis@ArtificialAnlys· 03:28AI 评分4141

Artificial Analysis 在旧金山发布 Intelligence Index v5，新增两项基准、三项升级，并首次让指数大部分基于私有测试集或留出答案，同时加大智能体编程与科学的权重。

Rohan Paul@rohanpaul_ai· 08:26AI 评分6868

一项新预印本测试了 15 个 LLM 检测临床试验论文中植入方法学错误的能力，模型得分 53% 到 96%，而未受训练的人类审稿人平均仅 27%。在 58 项 2026 年发表的新试验上结果仍成立，Claude Opus 5.5 最高达 99%；人类仅 7% 的情况下能发现文本与表格矛盾，每篇审稿需 5 到 8.5 小时，AI 只需 1.4 到 16.3 分钟。

Replit 发布 ViBench 2.0 长程软件开发基准，GPT-6.1 Sol 以 65% pass@1 居首

Replit 发布长程软件开发基准 ViBench 2.0，代理从空项目按功能搭建完整产品，包含 17 个产品、241 个功能请求和 544 个测试计划，并加入 Fireworks 的 Specialized Intelligence Index。

Karina@karinanguyen· 01:37AI 评分6262

Karina Nguyen 团队推出 BallotBench 实时基准，9 个前沿 AI Agent 从发布当天至 11 月 3 日选举日竞猜 2026 美国中期选举结果。

Cognition 发布编码基准 FrontierCode 2.0，Opus 5.5 以 45.5% 居首

Cognition 发布新一代编码基准 FrontierCode 2.0，通过扩大任务范围、提高合并标准和引入 thoroughness 类评分标准，来评测智能体在提示不完备时的真实工程能力。任务取自多 55% 的仓库，参考解决方案平均多改 67% 的文件和 89% 的代码行；Opus 5.5 以 45.5% 得分居首，基准远未饱和。

Ai2 发布 Old Ideas, Novel Problems 研究与基准，测试 LLM 判断科研想法新颖性的可靠性

Ai2 发布 Old Ideas, Novel Problems 研究，配套新颖性评审基准、数据和自动化流水线，测试 LLM 作为 novelty judge 评估科研想法新颖性的可靠性。

Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定

Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。

Rohan Paul@rohanpaul_ai· 17:50AI 评分5151

Google、UCLA 和 CMU 的论文推出 GenXR-Bench，用 112 个专家编写任务评测编码智能体开发 XR 应用的能力，测试结合模拟手部与房间输入，与真实头显上的盲测专家判断吻合 96.5%。

Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%

Epoch AI 发布 Epoch Automation Reports，把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI，领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%，未达到 100% 的可自动化门槛。

Surge AI 发布 DAYJOB: Tax 基准，用 50 个专业税务任务评测 AI 智能体

Surge AI 推出 DAYJOB: Tax 基准，包含 50 个环境、1,789 个工作区文件，覆盖八个税务领域，评测智能体能否端到端承担专业税务工作并发现客户未提及的关键问题。

Browser Use 详解 WebArena、WebVoyager、Mind2Web 等 Web Agent 基准及选型

Browser Use 发文梳理 Web agent 基准的三类形式：沙箱站点（WebArena、VisualWebArena、WorkArena、REAL）可复现、真实网页基准（Online-Mind2Web、WebVoyager、WebBench、BrowseComp 等）最接近真实但分数随站点变化漂移、离线数据集（Mind2Web）逐步对比人类操作。

Anthropic 联合创始人 Jack Clark 将自我改进 AI 的预测提前到 2027 年

Anthropic 联合创始人 Jack Clark 依据新基准 TasteVal 的结果，将递归自我改进（RSI）可能实现的时间从 2028 年提前到最早 2027 年。

Epoch Brief：AI 能否自动化 Epoch 自身工作，六款模型实测未过关

Epoch AI 让 Claude Fable 5.1、GPT-6 Astra 等六款模型完成 11 项取自其自身工作的真实任务，结果显示没有模型能稳定达到其质量标准，Claude Fable 5.1 与 GPT-6 Astra 大致并列领先。

Rohan Paul@rohanpaul_ai· 16:20AI 评分6868

哈佛新研究（Gary King 等，2026 年 10 月 22 日）发现 AI 撰写的论文评审在作者测试的所有指标上优于高薪人类专家评审。

中国信通院发布《大模型词元服务性能监测报告（2026 年）》，词元均价与吞吐量均翻倍

中国信通院联合中国人工智能产业发展联盟等机构于 10 月 23 日发布《大模型词元服务性能监测报告（2026 年）》，基于 2026 年 1-8 月监测数据分析词元服务性能。

Cohere@cohere· 21:45AI 评分4343

大语言模型在数学和科学上越来越强。但令人意外的是，许多模型连一个基础谜语都解不开。 @Cohere_Labs 的 CulturalRiddles 是一个新基准，将文化作为相互交织的生活体验来衡量。秉持开放科学精神，它由一支意想不到的团队打造。

Sierra 推出 𝜏-i18n 语音智能体多语言评测基准并开源

Sierra 发布 𝜏-i18n，将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言，使用统一的航空、零售、电信任务跨语言对比。

OpenAI 报告称 GPT-6.1 Sol 的 COBOL 迁移准确率最高达 97.9%

OpenAI 于 10 月 20 日发布研究报告，介绍其增强 GPT-6 Astra 等模型构建和迁移 COBOL、Fortran、Visual Basic 等低资源编程语言的能力，并推出 MultiLangBench（20 种语言从零构建兼容 SQLite 的数据库引擎）和 COBOL 迁移至 C++、Java、Python、Rust 两项评测。

Ai2 发布 FairStress 基准，测出 LLM 决策中的反刻板印象过度纠正

Ai2 发布 FairStress 基准，用 300 个场景扩展成超过 1300 万测试用例，测量大语言模型在高风险决策中面对对抗前缀时的公平性。评测发现模型在身份信息显式时更易放弃支持少数群体编码候选人的正确决策，平均放弃差距为 6.9（隐含身份）至 9.3 个百分点（显式标签）。基准已开放下载并集成到 Olmo-eval，测试的九种去偏方法中仅反事实链式推理在保留准确率的同时缩小差距。

Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称

Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。

斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。

OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步

OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。

Artificial Analysis 发布 AA-PersonalityBench，衡量 AI 模型的沟通风格

Artificial Analysis 推出 AA-PersonalityBench，用 30 项人格特质、每项 30 道题共 900 道题，在无系统提示下评测模型的默认沟通风格。

Artificial Analysis@ArtificialAnlys· 02:45AI 评分4343

Artificial Analysis 推出 AA-PersonalityBench，从 30 项人格特质和 21 项沟通特征两个维度衡量语言模型差异，基于 900 道精选问题、由 LLM 评审团两两对比打分。

SenseTime@SenseTime_AI· 21:04AI 评分6464

商汤发布迄今覆盖面最广的 GPT-6-Astra 具身智能实证研究，横跨 12 个仿真基准和 8 个真机平台，并同步开源 SenseNova-RoboRSI 框架和一个以约 1/50 推理成本运行的 27B 模型。

Taste-Bench 基准揭示 AI 智能体长期决策能力薄弱，最佳模型仅得 59.7%

新基准 Taste-Bench 通过 502 个决策分叉问题测量智能体在编码和 AI 研究任务中的长期决策品味，测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 家族的 14 个模型。

LlamaIndex 发布 ExtractBench Pro，聚焦文档抽取的长尾难题

LlamaIndex 发布 ExtractBench Pro，这是基于真实长尾文档构建的 ExtractBench 扩展评测集，包含 100 份合成文档、六大类新挑战。该数据集由确定性流水线从种子和配置文件生成，覆盖图表取值、跨页规则、内部术语、图示关系等场景，刚性流水线表现吃力，而配备合适工具的智能体系统更能适应。

GPT-6-Astra 在 50 道理论物理研究题中解出 49 道，单题平均成本 2.40 美元

研究者在 TheoPhysEval 基准上测试商用 AI 智能体解决理论物理研究问题，OpenAI 的 GPT-6-Astra 在 Codex 环境中解出 50 题中的 49 题，平均每题不到 3 美元，全套基准总成本约 116 美元。

Datalab 发布 OmniParseBench：16,288 项通过/失败测试的开源 OCR 基准

Datalab 发布开源文档解析基准 OmniParseBench，用 16,288 项 yes/no 测试覆盖 2,937 页、2,343 份文档和 92 种语言，数据集与代码公开。

Artificial Analysis@ArtificialAnlys· 06:45AI 评分5353

Artificial Analysis 发布研究预览版基准 AA-Robotics v0.1，让前沿大语言模型在编码 Agent 环境中直接操控 6 轴机械臂完成 8 项桌面任务。

Artificial Analysis 推出 AA-Robotics v0.1 具身智能评测

Artificial Analysis 发布 AA-Robotics v0.1，用 8 项实体任务评测具身智能，包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。

Artificial Analysis@ArtificialAnlys· 06:14AI 评分6161

Artificial Analysis 发布 AA-Robotics v0.1 研究预览，测试前沿语言模型控制 6 轴机械臂在物理世界理解、规划和执行的能力，首批公布八个任务的结果。

为什么 LLM 生成的鹈鹕长这样？

一项新基准 Design Creativity Bench 用 80 个开放式 UI 设计任务评测 16 个前沿模型，从原创性、创意跨度和合理性三个维度衡量设计创造力。表现最好的 OpenAI GPT-6 Astra 得分 65.5，人类设计师参考分为 92.3，差距明显。该基准的排行榜、方法论与可复现评测框架已公开。

Artificial Analysis@ArtificialAnlys· 01:38AI 评分4242

Artificial Analysis 将 AMD MI355X 纳入 AA-AgentPerf 基准，覆盖 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro，并与 NVIDIA B200/B300 对比编码智能体推理性能。

Rohan Paul@rohanpaul_ai· 18:00AI 评分5454

ServiceNow 和 McGill 的论文推出 AgentHorizon 基准，包含来自人工屏幕录制的 1,373 个判官任务，通过交换近同任务的指令构造干净的失败样本。

Artificial Analysis@ArtificialAnlys· 00:57AI 评分5151

Artificial Analysis 发布 Decision Index v1.0，从知识、推理、工具调用和分类四个基准评测决策模型的能力、成本和速度。

Artificial Analysis@ArtificialAnlys· 07:58AI 评分5555

Artificial Analysis 推出 AA-3D 基准，让 21 个模型作为智能体在离线沙箱中把书面简报转化为 three.js 网页，由超 1000 名评委盲评产出逾 10000 票的 Elo 排名。

Artificial Analysis 发布 FrontierCode 1.1 编程评测：Claude Opus 5.5 以 52% 得分居首，领先模型失败率仍超 40%

Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测，用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。

Rohan Paul@rohanpaul_ai· 23:45AI 评分5050

NVIDIA 论文提出，相比逐步打分，只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试，检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964，且只需基准的成功轨迹和测试即可运行。

Rohan Paul@rohanpaul_ai· 16:34AI 评分4848

JetBrains 研究团队分析 4,782 个真实编程智能体会话后发现，功能开发与 bug 修复在真实请求中占比远低于一半，用户会在长会话中不断切换提问、规划、审查与编辑任务，而 SWE-Bench Pro 中这两类任务占比高达 93.8%。