跳到正文
#评测/基准
10月1日周四
  4. Arena.ai70

    Arena 评测榜单显示，OpenAI 的 GPT-6.1 Sol (Max) 以 1759 分位列 Code Arena: WebDev 第 3 名，混合价格为 $8/MToken。相比 GPT-6 Sol (Max) 同价提升 70 分，排名上升 4 位，且在 Consumer Product 等所有类目均有提升。

    引用OpenAI@OpenAI

    GPT-6.1 Sol：以五分之一的价格提供接近 Astra 的智能。 它是当今可用的、在其性能水平上最具成本效益的模型。

    推荐理由：评测方公布了 GPT-6.1 Sol (Max) 的排名和价格数据，读者可以据此比较它在成本与性能权衡中的位置。

9月30日周三
  3. Artificial Analysis 完整文章64

    Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能

    Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。

    推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。

  11. Arena.ai84

    Arena 公布 Claude Sonnet 5.5 (High) 在 Code Arena: WebDev 以 1699 分排第 4，混合价格约 $8 per Mtoken，比第 2、3 名便宜 80%。相较 Sonnet 5 (High) 的 1540 分提升 159 分，Reference-Based Design、Simulations、Gaming 均从第 30 多名升至第 4。

    引用Claude@claudeai

    隆重推出 Claude Sonnet 5.5，Claude 5.5 家族中的第二个模型。 相比 Sonnet 5 有明显升级，运行速度提升超过 30%，且大多数工作的成本最多降低 30%。

    推荐理由：原文给出实测榜单名次、分数与价格对比，读者可以据此评估该模型在成本与性能间的实际位置。

  12. Noam Brown54

    Noam Brown 表示很高兴看到 OpenAI 以成本为坐标展示模型评测，认为应该把智能作为成本的函数来衡量。其引用的 OpenAI 内容称 GPT-6.1 Sol 以五分之一的价格提供接近 GPT-6 Astra 的智能，是当前同性能下最具成本效率的模型；配图为 Terminal-Bench Science 0.1 上各模型得分与每任务成本的对比曲线。

    引用OpenAI@OpenAI

    GPT-6.1 Sol：以五分之一的价格提供接近 Astra 的智能。 它是当今可用的、在其性能水平上最具成本效益的模型。

  16. Arena.ai67

    Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决，发现模型偏爱自己答案的程度平均比人类高约 70%，GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分，AI 裁判之间一致率 79.4%，但与人类投票者只有 56.9%；模型很少判平局，Sol 在 96% 的对战中强行选出赢家。

    推荐理由：基于 1,460 场真实对战和 34,580 条裁决的实测数据，读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度。

  18. Cohere Labs：官方研究博客47

    Cohere Labs 提出 RCP-nDCG@10：用校准 AI 评委更完整地衡量检索相关性

    Cohere Labs 推出 RCP-nDCG@10，一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法，以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示，qrels 预测人类相关性判断的 AUC 仅 0.65，而 LLM 校准相关性评分可达 0.91；被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。

9月29日周二
  4. Arena.ai59

    Arena 宣布 GPT-6 Luna (Max) 进入 Agent Arena Pareto 前沿，净改进 +1.59%，中位成本每任务 $0.05。

    引用Arena.ai@arena

    GPT-6 Luna (Max) by @OpenAI is #23 in Agent Arena with +1.6% net improvement across 8K real-world agentic sessions from our global community of users. Although GPT-6 Luna (Max) did not land on the Agent Arena Pareto frontier, it remains a cost-efficient model. Its $0.05 median cost per task is 94% lower than GPT-6 Sol (Max) at $0.82 and 98% lower than GPT-6 Astra (Max) at $2.59. Its net-improvement score also comes within 0.09 percentage points of #22 GPT 5.5, while costing 91% less than its $0.56 median cost per task. This release is a six-place point-rank move over GPT-5.6 Luna (xHigh), at -0.9% and #29! By signal, GPT-6 Luna’s clearest gains over GPT-5.6 Luna are in: - Confirmed Success: #17 (+4.6%) vs. #33 (-4.6%) - Bash Recovery: #21 (+4.2%) vs. #27 (+2.2%) Congrats to the @OpenAI team on this release!

  5. Arena.ai77

    Arena 公布 GPT-6 Luna (Max) 在 Agent Arena 排名第 23，基于 8K 真实智能体会话，净提升 +1.6%，比 GPT-5.6 Luna (xHigh) 上升 6 位。

    引用OpenAI@OpenAI

    欢迎 GPT-6 Sol 和 GPT-6 Luna 加入 GPT-6 宇宙。 GPT-6 Sol 和 Luna 建立在 GPT-6 Astra 背后的技术进展之上，将其大部分优势带入更快、更实惠的模型，以支持大规模工作。 我们还提升了缓存和推理效率，并将节省下来的成本直接让利给你：与 GPT-5.6 促销价格相比，Sol 和 Luna 的 API 价格降低了 50%。

    推荐理由：Arena 用 8K 真实智能体会话数据给出 GPT-6 Luna (Max) 的排名与成本对比，读者可据此权衡其性价比定位。

  6. Hacker News：AI 热帖49

    MicroLLM Lab：在浏览器中试用 7 款微型 LLM

    MicroLLM Lab 上线，可在浏览器内直接试用 7 款微型 LLM，并支持用 JavaScript 编写基准测试。测试以正则或精确 token 做客观校验，不评判写作质量，135M 模型允许失败，这本身就是测量结果。运行会记录 tokens/s 持续解码速度与客观测试通过率，数据只留在本机，图表按每个模型的最新测试套件展示。

  8. Arena.ai69

    Arena 宣布 Anthropic 的 Claude Sonnet 5.5 已进入 Agent Arena，并开放投票。Agent Arena 基于全球用户数百万个真实的长程智能体任务评测模型，模型可使用 web search、filesystem 和 terminal 工具完成复杂工作流，榜单用因果追踪方法衡量模型相对平均模型的结果表现。

    引用Claude@claudeai

    隆重推出 Claude Sonnet 5.5，Claude 5.5 家族中的第二个模型。 相比 Sonnet 5 有明显升级，运行速度提升超过 30%，且大多数工作的成本最多降低 30%。

    推荐理由：Arena 介绍了其 Agent Arena 的评测方式，读者可以据此理解 Claude Sonnet 5.5 在真实智能体任务上的衡量口径。

  10. Arena.ai68

    Arena 公布 Claude Opus 5.5 (High) 以 +12.15% 净提升分数进入 Agent Arena 第二名，仅低于 Claude Fable 5.1 (Max)。其每任务中位价格为 $1.31，比同水平低 64%，成本比 Opus 5 (High) 低 40%、比 Opus 5 (Max) 低 56%；分项信号中 Steerability 排名第一（+14.50%）。

    引用Arena.ai@arena

    来自 @AnthropicAI 的 Claude Opus 5.5 (High) 刚刚进入 Agent Arena，排名第 #2，净提升分数为 +12.15%。只有 Fable 5.1 (Max) 排名更高。然而，Opus 5.5 (High) 每任务中位价格为 $1.31，成本降低了 64%，从而推进了帕累托前沿。 Opus 5.5 (High) 的净提升分数高于之前两个 Opus 5 变体，同时成本比 Opus 5 (High) 低 40%，比 Opus 5 (Max) 低 56%。 按信号划分，Opus 5.5 (High) 排名： - #1 可操控性 (+14.50%) - #2 确认成功 (+15.50%) - #3 表扬与投诉对比 (+19.80%) - #4 Bash 恢复 (+10.64%) 祝贺 @AnthropicAI 又发布了一款前沿模型！

    同一件事，精选收录的是《Claude Opus 5.5 (High) 进入 Agent Arena 第 2 名，成本比 Opus 5 (Max) 低 56%》

  11. Arena.ai73

    Arena 官方宣布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2，净改进分 +12.15%，仅次于 Fable 5.1 (Max)。其中位价格为每任务 $1.31，比 Opus 5 (High) 便宜 40%、比 Opus 5 (Max) 便宜 56%，分项上 Steerability 排名第 1（+14.50%）。

    引用Arena.ai@arena

    来自 @AnthropicAI 的 Claude Opus 5.5 (High) 刚刚进入 Agent Arena，排名第 #2，净提升分数为 +12.15%。只有 Fable 5.1 (Max) 排名更高。然而，Opus 5.5 (High) 每任务中位价格为 $1.31，成本降低了 64%，从而推进了帕累托前沿。 Opus 5.5 (High) 的净提升分数高于之前两个 Opus 5 变体，同时成本比 Opus 5 (High) 低 40%，比 Opus 5 (Max) 低 56%。 按信号划分，Opus 5.5 (High) 排名： - #1 可操控性 (+14.50%) - #2 确认成功 (+15.50%) - #3 表扬与投诉对比 (+19.80%) - #4 Bash 恢复 (+10.64%) 祝贺 @AnthropicAI 又发布了一款前沿模型！

    同一件事，精选收录的是《Claude Opus 5.5 (High) 进入 Agent Arena 第 2 名，成本比 Opus 5 (Max) 低 56%》

  12. Arena.ai75

    Arena 公布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2，净改进分 +12.15%，仅次于 Fable 5.1 (Max)。

    引用Arena.ai@arena

    重磅消息：@AnthropicAI 的 Claude Opus 5.5 (Max) 刚刚在 Code Arena: WebDev 中以 1818 分登顶第一，并重塑了帕累托前沿！这比排名第二的 GPT-6 Astra (Max) 领先了整整 +26 分，相比此前 1692 分的 Opus 5 (Max) 更是大幅提升了 +126 分。 纵观各分类，我们可以看到 Opus 5.5 (Max) 在以下领域均跻身榜首： - 在品牌与营销、基于参考的设计、数据与分析、仿真与游戏领域排名 #1！ - 在消费产品领域排名 #2 随着更多投票的涌入，敬请期待更多领域和分类的洞察结果。 恭喜 @AnthropicAI 发布！

    推荐理由：榜单给出了 Claude Opus 5.5 (High) 在 Agent Arena 的排名、价格与分项信号，读者可据此权衡它与 Opus 5 各档的成本与能力变化。

9月28日周一
  1. Epoch AI：Gradient Updates67

    Epoch AI 测算：AI 达到给定基准成绩的价格每年下降 13 倍，快于历史上任何变革性技术

    Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍，比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%，约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数，降幅 725 倍。作者提示基准价格是市场实际成本的间接代理，数据与代码已在 GitHub 公开。

    推荐理由：原文用五个基准测算了AI性能价格随时间的下降速度，并与其他技术的历史降价曲线对比，数据与代码公开可查。

9月27日周日
  1. Arena.ai78

    Arena 宣布 Claude Opus 5.5 (High) 以 1509 分首次登顶 Text Arena，比 Opus 5 (High) 高 18 分（现列第 11）。Opus 4.6 (High) 以 4 分之差保持第 2，Anthropic 包揽该榜前六名；Opus 5.5 (High) 按每百万 token 输入/输出定价折算的混合价格为 $16/MToken，进入 Text Arena 的 Pareto 前沿。

    推荐理由：原文给出具体排名、分数差和混合价格，读者可据此比较 Claude Opus 5.5 与前代的性价比位置。