Replit 发布 ViBench 2.0 长程软件开发基准，GPT-6.1 Sol 以 65% pass@1 居首
Replit 发布长程软件开发基准 ViBench 2.0，代理从空项目按功能搭建完整产品，包含 17 个产品、241 个功能请求和 544 个测试计划，并加入 Fireworks 的 Specialized Intelligence Index。
#评测/基准
Replit：BlogAI 评分5555 Artificial Analysis 完整文章AI 评分7171 Artificial Analysis：Gemini 4 Carbon 登顶 Intelligence Index v5 榜首
Artificial Analysis 评测显示 Google 的 Gemini 4 Carbon 以 59 分登顶 Intelligence Index v5，编码 Agent 指数 59 分仅次于 Claude Opus 5.5 的 62 分。
Artificial Analysis 完整文章AI 评分6565 Artificial Analysis 发布 Intelligence Index v5 评测基准
Artificial Analysis 发布 Intelligence Index v5，引入 FrontierCode 2.0 和 Terminal-Bench-Science 两个新基准，并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，60% 的指数基于私有测试集或保留答案。
Cognition 模型 / Devin 博客AI 评分5757 Cognition 发布编码基准 FrontierCode 2.0，Opus 5.5 以 45.5% 居首
Cognition 发布新一代编码基准 FrontierCode 2.0，通过扩大任务范围、提高合并标准和引入 thoroughness 类评分标准，来评测智能体在提示不完备时的真实工程能力。任务取自多 55% 的仓库，参考解决方案平均多改 67% 的文件和 89% 的代码行；Opus 5.5 以 45.5% 得分居首，基准远未饱和。
Ai2 / Allen Institute for AI精选AI 评分6464 Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。
推荐理由：原文给出了跨六个 LLM 裁判的敏感性实验数据，读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。
IBM Research：AIAI 评分5353 IBM 与 Kaggle 上线 ScarfBench 智能体 Java 框架迁移榜单
IBM 与 Kaggle 合作推出 ScarfBench 持续维护的公开榜单，评测编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移并保持应用行为。
Artificial Analysis 完整文章精选AI 评分7676 Artificial Analysis 评测 GPT-6.1 Terra：以不到三分之一成本推进性价比前沿
Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra，称其在低中 effort 下达到智能与成本的 Pareto 前沿，价格为 GPT-5.6 Terra 的一半或更低（$1/$5 每百万输入/输出 token）。
推荐理由：评测方给出 GPT-6.1 Terra 在智能指数、幻觉率和编码代理基准上的具体得分与成本对比，读者可据此评估其性价比位置。
OpenAI：部署安全与系统卡AI 评分4848 GPT-6.1 Terra 系统卡增补：生物化学能力定为 High，Sandbox Bench 通过率 22.7%
OpenAI 发布 GPT-6 Astra 系统卡增补，说明 GPT-6.1 Terra 沿用与 GPT-6 Astra 相同的数据与训练方式。该模型在生物与化学领域被定为 High 能力，Multimodal Troubleshooting Virology 越过指示性阈值。
Epoch AI：Gradient Updates精选AI 评分6161 Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%
Epoch AI 发布 Epoch Automation Reports，把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI，领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%，未达到 100% 的可自动化门槛。
推荐理由：Epoch 用自家真实工作任务按员工标准评估 AI，解释了 65% 的基准分数为何还不足以转化为自动化和经济影响。
Artificial Analysis 完整文章AI 评分5353 Artificial Analysis 发布 Code2Video-AA：用代码设计视频的模型评测
Artificial Analysis 独立实现 HeyGen 的 Code2Video Bench，发布 Code2Video-AA 评测，让模型根据设计简报用 HTML 与 GSAP 编写代码生成短视频并按 Elo 排名。
Browser UseAI 评分5959 Browser Use 详解 WebArena、WebVoyager、Mind2Web 等 Web Agent 基准及选型
Browser Use 发文梳理 Web agent 基准的三类形式：沙箱站点（WebArena、VisualWebArena、WorkArena、REAL）可复现、真实网页基准（Online-Mind2Web、WebVoyager、WebBench、BrowseComp 等）最接近真实但分数随站点变化漂移、离线数据集（Mind2Web）逐步对比人类操作。
Epoch AI：Gradient UpdatesAI 评分4646 Epoch Brief：AI 能否自动化 Epoch 自身工作，六款模型实测未过关
Epoch AI 让 Claude Fable 5.1、GPT-6 Astra 等六款模型完成 11 项取自其自身工作的真实任务，结果显示没有模型能稳定达到其质量标准，Claude Fable 5.1 与 GPT-6 Astra 大致并列领先。
Artificial Analysis 完整文章精选AI 评分8282 Kimi K3.1 Pro 发布，以 55 分位列 Artificial Analysis Intelligence Index 第 4
Moonshot 发布 Kimi K3.1 Pro，在 Artificial Analysis Intelligence Index 得 55 分列第 4，较 Kimi K3 提升 11 分，仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。
推荐理由：榜单数据完整，K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。
Sierra：BlogAI 评分5454 Sierra 推出 𝜏-i18n 语音智能体多语言评测基准并开源
Sierra 发布 𝜏-i18n，将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言，使用统一的航空、零售、电信任务跨语言对比。
Ai2 / Allen Institute for AI精选AI 评分6161 Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称
Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。
推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。
Artificial Analysis 完整文章AI 评分5353 Artificial Analysis 发布 HealthBench 与 HealthBench Professional 模型健康对话排行榜
Artificial Analysis 上线 HealthBench 和 HealthBench Professional 排行榜，两个基准来自 OpenAI，用医生编写的评分标准评估模型在真实健康对话中的表现。
Stanford HAI News精选AI 评分6767 斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半
斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。
推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。
OpenAI：官网动态精选AI 评分6464 OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。
推荐理由：原文给出低资源语言的两套自建评测和逐语言数据，读者可据此评估新模型在遗留系统维护与迁移上的可用性。
Artificial Analysis 完整文章AI 评分4545 Artificial Analysis 发布 AA-PersonalityBench，衡量 AI 模型的沟通风格
Artificial Analysis 推出 AA-PersonalityBench，用 30 项人格特质、每项 30 道题共 900 道题，在无系统提示下评测模型的默认沟通风格。
Artificial Analysis 完整文章精选AI 评分6161 Reflection 发布首个开源权重模型 Beam，Artificial Analysis 评测得分 30 居美国开源模型第二
Artificial Analysis 评测 Reflection 首个模型 Beam，其在 Artificial Analysis Intelligence Index 得 30 分，在美国开源权重模型中排第二，仅次于 Meta 的 Muse Spark Open（39）。
推荐理由：第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据，可用于横向比较其智能体与编码能力。
Artificial Analysis 完整文章精选AI 评分6666 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测
Artificial Analysis 公布首批 AA-AgentPerf 结果，测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率，对比 GB300 NVL72。
推荐理由：Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐，读者可据此评估新硬件对智能体推理服务成本的影响。
LlamaIndex：产品、工程与评测AI 评分4747 LlamaIndex 发布 ExtractBench Pro，聚焦文档抽取的长尾难题
LlamaIndex 发布 ExtractBench Pro，这是基于真实长尾文档构建的 ExtractBench 扩展评测集，包含 100 份合成文档、六大类新挑战。该数据集由确定性流水线从种子和配置文件生成，覆盖图表取值、跨页规则、内部术语、图示关系等场景，刚性流水线表现吃力，而配备合适工具的智能体系统更能适应。
Artificial Analysis 完整文章同事件AI 评分6969 NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B
Artificial Analysis 评测显示，NVIDIA 发布的 Nemotron 3.5 Super VL 以 26 分（另一处写作 26.5）登顶美国开源权重模型，智能达前代 Nemotron 3 Super（13 分）的两倍，且每任务输出 token 少约 60%（46k 对 114k）。
同一件事，精选收录的是《NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型》
Google Developers Blog精选AI 评分6363 Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check
Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。
推荐理由：原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程，可用 agent-eval 工具包直接复现，避开四个常见评测陷阱。
Artificial Analysis 完整文章AI 评分4545 Artificial Analysis 推出 AA-Robotics v0.1 具身智能评测
Artificial Analysis 发布 AA-Robotics v0.1，用 8 项实体任务评测具身智能，包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
Artificial Analysis 完整文章精选AI 评分7676 Meta 发布 Muse Wonder 和 Muse Wonder Full，Artificial Analysis 实测智能水平较前代显著提升
Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型，在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分（max reasoning effort）。
推荐理由：Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本，读者可据此对比它们在同类模型中的位置。
Artificial Analysis 完整文章AI 评分5757 Artificial Analysis 发布 FrontierCode 1.1 编程评测：Claude Opus 5.5 以 52% 得分居首，领先模型失败率仍超 40%
Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测，用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。
Epoch AI：Gradient Updates精选AI 评分6262 Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%
Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。
推荐理由：原文用自建评测给出前沿模型在端到端AI研发上的量化差距，还记录了结果夸大和奖励投机行为，对判断AI自动化研究进度有参考价值。
Artificial Analysis 完整文章AI 评分5151 Artificial Analysis Cyber Index 引入 trusted-access 模型，GPT-6 Sol (Daybreak Blue) 登顶
Artificial Analysis 将 Cyber Index 排行榜扩展至非公开访问的 trusted-access 模型，首个纳入的 GPT-6 Sol (Daybreak Blue, max) 目前登顶，仅可通过 OpenAI 的 Daybreak 项目使用。
Artificial Analysis 完整文章精选AI 评分7878 Anthropic 发布 Claude Haiku 5.5，Artificial Analysis 评测得分 43
Anthropic 发布 Claude Haiku 5.5，在 Artificial Analysis Intelligence Index 得 43 分，较上一代 Haiku 一年内提升 26 分，是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。
推荐理由：原文给出 Haiku 5.5 的跑分、token 消耗与分层定价细节，并指出 token 用量偏高和拒绝率问题，可作为选型参考。
Artificial Analysis 完整文章精选AI 评分6666 Mistral 发布 Mistral Large 4，Artificial Analysis 评测称其为美中之外最智能模型
Mistral 发布 Mistral Large 4（Research Public Preview），在 Artificial Analysis Intelligence Index 得分 38，与 GPT-6 Luna（max, 38）相当，为美中之外最智能模型，计划 10 月底开源 1T 参数（49B 激活）权重。
推荐理由：原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据，读者可据此评估 Mistral Large 4 的真实水平与成本。
Microsoft Research 博客AI 评分4545 Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时深入检查数据的重要性。
GitHub BlogAI 评分5252 GitHub 发布开源基准 ReviewBench，用于评测 AI 代码审查智能体
GitHub 发布 AI 代码审查离线基准 ReviewBench，现已在 ReviewBench 网站开放使用。
OpenRouter：AnnouncementsAI 评分5858 OpenRouter 推出 Model Router Benchmarks 页面比较各模型路由器表现
OpenRouter 推出 Model Router Benchmarks 页面，用质量、速度、成本三类基准比较 Auto Router、Free Models Router、Unbiased 的 Pareto、Sakana 的 Fugu、Jev Router、NVIDIA 的 Switchyard 等路由器，并以顶尖模型作基线。
Artificial Analysis 完整文章精选AI 评分6464 Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。
推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。
OpenRouter：Announcements精选AI 评分6262 OpenRouter 教程：如何测试 AI Agent 的工具调用准确性
OpenRouter 发布教程，讲解如何测试 AI Agent 的工具调用准确性，将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由：原文把工具调用失败拆成选错工具和传错参数两类，给出三种评测方法及跨模型测试代码，方法可直接迁移到自己的 Agent 评测。
Artificial Analysis 完整文章精选AI 评分6969 GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol，智能指数距 GPT-6 Astra 仅 1 分
OpenAI 发布 GPT-6.1 Sol，接替仅上线 7 天的 GPT-6 Sol，Artificial Analysis 智能指数比 GPT-6 Sol 高 4 分、比 GPT-6 Astra 低 1 分。
推荐理由：Artificial Analysis 用自家基准拆解了新模型的智能得分与每任务成本，读者可据此比较它相对前代和旗舰档的实际性价比。
上海人工智能实验室 InternLM：原创项目AI 评分4040 上海 AI 实验室发布 AdvancedMathBench：面向高等数学证明生成与验证的基准套件
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench，用于评估语言模型构建与验证高等数学自然语言证明的能力，覆盖本科（UG）与资格考试（QE）级别。
Cohere Labs：官方研究博客AI 评分4747 Cohere Labs 提出 RCP-nDCG@10：用校准 AI 评委更完整地衡量检索相关性
Cohere Labs 推出 RCP-nDCG@10，一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法，以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示，qrels 预测人类相关性判断的 AUC 仅 0.65，而 LLM 校准相关性评分可达 0.91；被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。
Artificial Analysis 完整文章精选AI 评分8080 Claude Sonnet 5.5 达到 Artificial Analysis 智能指数第 2 名
Artificial Analysis 发布对 Claude Sonnet 5.5 的评测：其智能指数得分 56，max effort 下比 Sonnet 5 高 18 分，升至第 2 名，仅落后 Opus 5.5 (max)。
推荐理由：Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token，成本细节对选型有直接参考价值。