Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。
推荐理由：原文给出了跨六个 LLM 裁判的敏感性实验数据，读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。
#评测/基准
Ai2 / Allen Institute for AI精选AI 评分6464
Artificial Analysis 完整文章精选AI 评分7676 Artificial Analysis 评测 GPT-6.1 Terra：以不到三分之一成本推进性价比前沿
Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra，称其在低中 effort 下达到智能与成本的 Pareto 前沿，价格为 GPT-5.6 Terra 的一半或更低（$1/$5 每百万输入/输出 token）。
推荐理由：评测方给出 GPT-6.1 Terra 在智能指数、幻觉率和编码代理基准上的具体得分与成本对比，读者可据此评估其性价比位置。
Epoch AI：Gradient Updates精选AI 评分6161 Epoch AI 用内部工作任务评测前沿模型：Claude Fable 5.1 与 GPT-6 Astra 平均只得 65%
Epoch AI 发布 Epoch Automation Reports，把机构内部的图表设计、研究规划等真实任务按人类员工评估标准测试 AI，领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%，未达到 100% 的可自动化门槛。
推荐理由：Epoch 用自家真实工作任务按员工标准评估 AI，解释了 65% 的基准分数为何还不足以转化为自动化和经济影响。
Artificial Analysis 完整文章精选AI 评分8282 Kimi K3.1 Pro 发布，以 55 分位列 Artificial Analysis Intelligence Index 第 4
Moonshot 发布 Kimi K3.1 Pro，在 Artificial Analysis Intelligence Index 得 55 分列第 4，较 Kimi K3 提升 11 分，仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。
推荐理由：榜单数据完整，K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。
Ai2 / Allen Institute for AI精选AI 评分6161 Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称
Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。
推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。
Stanford HAI News精选AI 评分6767 斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半
斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。
推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。
OpenAI：官网动态精选AI 评分6464 OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。
推荐理由：原文给出低资源语言的两套自建评测和逐语言数据，读者可据此评估新模型在遗留系统维护与迁移上的可用性。
Artificial Analysis 完整文章精选AI 评分6161 Reflection 发布首个开源权重模型 Beam，Artificial Analysis 评测得分 30 居美国开源模型第二
Artificial Analysis 评测 Reflection 首个模型 Beam，其在 Artificial Analysis Intelligence Index 得 30 分，在美国开源权重模型中排第二，仅次于 Meta 的 Muse Spark Open（39）。
推荐理由：第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据，可用于横向比较其智能体与编码能力。
Artificial Analysis 完整文章精选AI 评分6666 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测
Artificial Analysis 公布首批 AA-AgentPerf 结果，测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率，对比 GB300 NVL72。
推荐理由：Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐，读者可据此评估新硬件对智能体推理服务成本的影响。
Artificial Analysis 完整文章精选AI 评分6969 NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B
Artificial Analysis 评测显示，NVIDIA 发布的 Nemotron 3.5 Super VL 以 26 分（另一处写作 26.5）登顶美国开源权重模型，智能达前代 Nemotron 3 Super（13 分）的两倍，且每任务输出 token 少约 60%（46k 对 114k）。
推荐理由：原文给出独立评测的智能指数得分、token 效率和输出速度对比，可据此评估 NVIDIA 两款开源权重模型的实际定位。
Google Developers Blog精选AI 评分6363 Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check
Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。
推荐理由：原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程，可用 agent-eval 工具包直接复现，避开四个常见评测陷阱。
Artificial Analysis 完整文章精选AI 评分7676 Meta 发布 Muse Wonder 和 Muse Wonder Full，Artificial Analysis 实测智能水平较前代显著提升
Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型，在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分（max reasoning effort）。
推荐理由：Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本，读者可据此对比它们在同类模型中的位置。
Epoch AI：Gradient Updates精选AI 评分6262 Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%
Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。
推荐理由：原文用自建评测给出前沿模型在端到端AI研发上的量化差距，还记录了结果夸大和奖励投机行为，对判断AI自动化研究进度有参考价值。
Artificial Analysis 完整文章精选AI 评分7878 Anthropic 发布 Claude Haiku 5.5，Artificial Analysis 评测得分 43
Anthropic 发布 Claude Haiku 5.5，在 Artificial Analysis Intelligence Index 得 43 分，较上一代 Haiku 一年内提升 26 分，是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。
推荐理由：原文给出 Haiku 5.5 的跑分、token 消耗与分层定价细节，并指出 token 用量偏高和拒绝率问题，可作为选型参考。
Artificial Analysis 完整文章精选AI 评分6666 Mistral 发布 Mistral Large 4，Artificial Analysis 评测称其为美中之外最智能模型
Mistral 发布 Mistral Large 4（Research Public Preview），在 Artificial Analysis Intelligence Index 得分 38，与 GPT-6 Luna（max, 38）相当，为美中之外最智能模型，计划 10 月底开源 1T 参数（49B 激活）权重。
推荐理由：原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据，读者可据此评估 Mistral Large 4 的真实水平与成本。
Artificial Analysis 完整文章精选AI 评分6464 Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。
推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。
OpenRouter：Announcements精选AI 评分6262 OpenRouter 教程：如何测试 AI Agent 的工具调用准确性
OpenRouter 发布教程，讲解如何测试 AI Agent 的工具调用准确性，将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由：原文把工具调用失败拆成选错工具和传错参数两类，给出三种评测方法及跨模型测试代码，方法可直接迁移到自己的 Agent 评测。
Artificial Analysis 完整文章精选AI 评分6969 GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol，智能指数距 GPT-6 Astra 仅 1 分
OpenAI 发布 GPT-6.1 Sol，接替仅上线 7 天的 GPT-6 Sol，Artificial Analysis 智能指数比 GPT-6 Sol 高 4 分、比 GPT-6 Astra 低 1 分。
推荐理由：Artificial Analysis 用自家基准拆解了新模型的智能得分与每任务成本，读者可据此比较它相对前代和旗舰档的实际性价比。
Artificial Analysis 完整文章精选AI 评分8080 Claude Sonnet 5.5 达到 Artificial Analysis 智能指数第 2 名
Artificial Analysis 发布对 Claude Sonnet 5.5 的评测：其智能指数得分 56，max effort 下比 Sonnet 5 高 18 分，升至第 2 名，仅落后 Opus 5.5 (max)。
推荐理由：Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token，成本细节对选型有直接参考价值。
Epoch AI：Gradient Updates精选AI 评分6767 Epoch AI 测算：AI 达到给定基准成绩的价格每年下降 13 倍，快于历史上任何变革性技术
Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍，比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%，约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数，降幅 725 倍。作者提示基准价格是市场实际成本的间接代理，数据与代码已在 GitHub 公开。
推荐理由：原文用五个基准测算了AI性能价格随时间的下降速度，并与其他技术的历史降价曲线对比，数据与代码公开可查。