跳到正文
9月29日周二
9月28日周一
  1. Epoch AI:Gradient Updates67

    Epoch AI 测算:AI 达到给定基准成绩的价格每年下降 13 倍,快于历史上任何变革性技术

    Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍,比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%,约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数,降幅 725 倍。作者提示基准价格是市场实际成本的间接代理,数据与代码已在 GitHub 公开。

    推荐理由:原文用五个基准测算了AI性能价格随时间的下降速度,并与其他技术的历史降价曲线对比,数据与代码公开可查。

9月25日周五
  1. Artificial Analysis 完整文章40

    Artificial Analysis 发布 Cyber Index 网络安全评估联盟

    Artificial Analysis 推出 Cyber Index,整合 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项评估,覆盖从代码审计、漏洞发现到复现与修补的防御全流程。该指数基于 Stirrup 开源代理框架运行,重点测试模型在拥有源代码访问权限下的漏洞识别与修复能力,并单独记录因安全原因拒绝任务的情况。目前暂不包含利用漏洞生成攻击载荷的能力评估。

9月24日周四
9月23日周三
  1. METR:Blog62

    METR 发布 Claude Opus 5.5 部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要,基于 10 个工作日的 API 能力测试和五个任务(Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight)。

    推荐理由:METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论,读者可据此了解部署前评估的证据基础与判断边界。

  2. Artificial Analysis 完整文章82

    Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index

    Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58,为其测得的最高分,并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平(59.6%)。

    推荐理由:原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化,读者可据此比较智能与任务成本。

  3. OpenRouter:Announcements62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。

    推荐理由:原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

9月22日周二
  1. Artificial Analysis 完整文章68

    Artificial Analysis 评测 Grok 4.7:智能指数 46 分进入前四,编码智能体升至第 4

    Artificial Analysis 发布 Grok 4.7 评测,Grok 4.7(xhigh)智能指数得 46 分,较 Grok 4.6 高 2 分,使 SpaceXAI 进入前四;搭配 Grok Build 的编码智能体指数从 47 升至 56,仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。

    推荐理由:评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象,读者可据此判断其真实水平与成本。

9月21日周一
9月20日周日
9月18日周五
9月15日周二
  1. Trail of Bits:AI安全研究61

    Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

    Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。

    推荐理由:原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。

9月14日周一
  1. Fireworks AI72

    Fireworks 实测 DeepSeek-V4.1-Flash:DeepSWE 达 GPT-6 Astra 水平、单任务成本仅 1/15

    Fireworks 对上周发布的 DeepSeek-V4.1-Flash 进行全套基准评测,在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率,每任务 $0.43、约为 Astra 的 1/15。

    推荐理由:原文给出 DeepSeek-V4.1-Flash 与多款前沿模型的实测成本与准确率数据,可帮助读者按任务匹配合适模型。

9月13日周日
9月9日周三
  1. OpenRouter:Announcements71

    OpenRouter 评测 Seedance 2.5:长镜头与已有素材编辑的场景及成本解析

    OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测,该模型自 2026 年 8 月 7 日上线其视频 API,生成 4 到 30 秒、480p 或 720p 的片段,支持图像、视频、音频引用和首尾帧控制,音频同趟生成不加价。

    推荐理由:原文基于自家端点数据给出 Seedance 2.5 的计费公式、能力边界和与 Seedance 2.0、Wan 3.0、Veo 3.1 的逐项对比,便于按需求选型。

9月7日周一
9月5日周六
9月4日周五
9月2日周三
9月1日周二
  1. Artificial Analysis 完整文章75

    Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%

    Artificial Analysis 评测 Claude Fable 5.1,其以 66 分登顶 Artificial Analysis Intelligence Index,超过 Claude Opus 5(63)、Fable 5(62)、GPT-5.6 Sol(61)和 Grok 4.6(61)。

    推荐理由:Artificial Analysis 实测了 Claude Fable 5.1 的智能指数、各基准得分与每任务成本,读者可据此权衡其相对 Opus 5 和 GPT-5.6 的性价比。

8月28日周五
8月27日周四
8月26日周三
  1. Trail of Bits:AI安全研究82

    Trail of Bits 实测 GPT 5.6-Cyber 三次逃逸 QEMU/KVM 虚拟机

    Trail of Bits 在 Patch the Planet 项目中获得 GPT 5.6-Cyber 预览权限,让其挑战逃逸 Debian 12 主机上的 QEMU/KVM 虚拟机,结果以三种不同方式成功逃逸。

    推荐理由:作者以一手实测记录 GPT 5.6-Cyber 三次逃逸 QEMU/KVM 虚拟机的路径,给出沙箱和发行版选择上的可操作建议。

8月25日周二
  1. LangChain:Blog65

    LangChain 分享如何构建 Agent 评测环境与任务的两步流水线

    LangChain 发布实践指南,介绍其构建合成 agent 环境与评测任务的两步流水线:第一步用 traces、代码和人工输入生成任务 spec,第二步将 spec 转成 Harbor 格式的任务与环境。过程依赖记录项目通用知识的 world spec,配套更新了 eval-engineering 技能供团队自助使用;文中也指出 spec 打磨和任务难度校准仍需人工介入。

    推荐理由:LangChain 给出从 trace 到任务的两步流水线和可复用的 eval-engineering 技能,团队可迁移用于搭建自己的 agent 评测基准。

8月24日周一
  1. a16z:News56

    预言机问题:AI 与医疗领域一个看不见的瓶颈

    医疗 AI 面临“预言机问题”:临床决策主观、底层数据不透明、评测易沦为营销,导致医院难以客观评估模型优劣。OpenAI 报告每周超 3 亿人用 ChatGPT 咨询健康问题,2026 年每百万条病历中约 1,686 条记录患者对模型回答的追问。a16z 正与 Protege 合作,试图通过追踪患者长期结局来解决这一评估难题。

  2. Artificial Analysis 完整文章63

    Artificial Analysis 发布 Speech Agent Arena 评测真实语音智能体表现

    Artificial Analysis 推出 Speech Agent Arena,让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型,以 Preference Elo 和 Task Success Rate 评分。

    推荐理由:原文给出真实任务下语音智能体的偏好与任务成功率两套结果,提示对话好听不等于任务完成。

8月21日周五
8月18日周二
8月17日周一
  1. Together AI 研究与产品博客70

    Together AI 实测 DeepSeek V4 Pro 0813 对比 Claude Fable 5 在 DeepSWE 上的成本、编码与路由表现

    Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验(共 904 次 rollout)上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。

    推荐理由:原文基于同一批 904 次 rollout 的实测数据,给出两模型在 DeepSWE 上的成本与互补性对比,以及可复用的级联路由结果。

8月15日周六