跳到正文
#评测/基准
4月24日周五
  2. Ethan Mollick：One Useful Thing77

    未来的标志：GPT-5.5

    OpenAI 发布了新一代模型 GPT-5.5。其上下文窗口从 GPT-5 的 128K 大幅扩展至 512K，推理速度提升约 40%，在多模态理解与代码生成基准测试中表现显著超越前代。模型在复杂指令遵循和长文档处理方面能力突出，同时 API 调用成本降低了 30%。这一升级被视为通向通用人工智能（AGI）道路上的一个重要里程碑。

    推荐理由：Ethan Mollick 拿 GPT-5.5 压测了论文写作和游戏设计，代际提升肉眼可见，但锯齿前沿仍未消失。这篇一手实测告诉你当前能力的天花板和暗角，比任何官方博客都值得看。

  4. Simon Willison 博客74

    通过半官方Codex后门API为GPT-5.5生成“骑自行车的鹈鹕”

    尽管GPT-5.5的官方API尚未发布，但作者利用OpenAI为OpenClaw等工具开放的订阅集成机制，通过反向工程开源Codex CLI，开发了一个LLM插件。该插件允许付费订阅用户通过Codex后端API调用GPT-5.5模型。文章以生成“骑自行车的鹈鹕”SVG图像为例，展示了其使用效果，并指出高推理强度设置能显著提升输出质量，但耗时更长。目前，OpenAI表示正与合作伙伴制定API大规模服务的安全要求。

    推荐理由：Simon Willison 不只评测 GPT-5.5，还顺手逆向 Codex 做了个用订阅跑 API 的插件。定价翻倍、xhigh 模式四分钟出图这些细节，比官方通稿有用十倍，做选型的人该看这篇而不是 OpenAI 博客。

  5. Sam Altman55

    embers GPT-5.5，尚未完全通过TikZ独角兽测试，但已非常接近…… （这确实是真实的TikZ代码，我个人觉得难以置信，因此将代码附在下方供大家自行验证）

    引用Sebastien Bubeck@SebastienBubeck

    GPT-5.5, not fully saturating the TikZ unicorn test yet but getting awfully close ... (yes this is actual TikZ code, I personally find it so unbelievable that I'm putting the code below for anyone to verify for themself)

4月23日周四
  1. Rohan Paul70

    在基于HTML的波浪绘制任务中，Qwen3.6 27B模型虽生成速度较慢（24 tok/s），耗时更长，但其输出结果比速度更快的35B模型更清晰、一致。该任务强调布局、顺序和内部规划能力，表明较长的推理时间可以弥补延迟劣势。这揭示了任务性质对模型选择的关键影响：27B更适合需要稳定执行结构化计划的任务，而35B则在追求快速响应的日常场景中占优。研究说明，处理结构化模式的任务主要奖励步骤排序和内部一致性，而非单纯的语言流畅度。

    引用atomic.chat@atomic_chat_hq

    Compared Qwen3.6 35B and 27B in the same conditions with Google TurboQuant Device: MacBook Pro M5Max 64GB RAM Outputs characteristics: Qwen3.6 35B: 6672 tokens, 2m 10s, 65 tok/s Qwen3.6 27B: 7344 tokens, 5m 22s, 24 tok/s Conclusion: Both models were asked to draw waves using HTML, 35B responded quickly but the result feels weak and messy, while 27B took more time and delivered a much cleaner and more consistent result, because it is built for thinking and planning, so it works better on tasks that need structure, overall 27B is a better choice for tasks where planning matters, while 35B is more suitable for everyday use when you just need a fast response

4月22日周三
  1. Simon Willison 博客64

    寻找手持火腿无线电的浣熊（ChatGPT Images 2.0 测试）

    OpenAI 发布 ChatGPT Images 2.0（gpt-image-2），Sam Altman 称此次升级堪比从 GPT-3 到 GPT-5 的跨越。作者使用"Where's Waldo"风格提示词（寻找手持火腿无线电的浣熊）测试发现：gpt-image-1 未能生成浣熊；Google Nano Banana 2 表现良好，浣熊位于"业余无线电俱乐部"展位；而 Pro 版本效果糟糕，浣熊突兀地置于画面中央。gpt-image-2 在默认设置下同样未能呈现隐藏浣熊，作者计划进一步测试其 3840x2160 高画质模式。

4月21日周二
  1. Hugging Face 社区博客63

    QIMMA：一个质量优先的阿拉伯语大语言模型排行榜

    QIMMA 是一个首创质量验证流程的阿拉伯语大语言模型评估平台。它整合了14个基准测试的109个子集、超5.2万个样本，覆盖文化、STEM等7大领域，其中99%为原生阿拉伯语内容。平台采用双阶段质量验证：先由两个大模型自动评估，再经人工审核，发现并剔除了现有基准中存在的系统性质量问题。此外，QIMMA首次集成了阿拉伯语问题描述的代码评估任务，并公开逐样本推理结果，确保了评估的可靠性与透明度。

    推荐理由：QIMMA 把阿拉伯语基准的质量问题扒了一层皮，揭示现有数据集存在系统性错误，这个验证管线思路对所有多语言评估都有参考价值。

  2. IT之家·人工智能

    RAG AI 测试：AMD 3D V-Cache 比非 X3D 型号处理器性能最高提升 88%

    摩根士丹利基于开源 X3D RAG 基准测试显示，在 RAG AI 向量搜索场景中，AMD 3D V-Cache 处理器性能较非 X3D 型号最高提升 88%。10 万批量搜索中，Ryzen 3D V-Cache 芯片速度领先 88%；20 万规模下，Ryzen 7 9850X3D 较 9700X 提升超 50%，甚至超越 16 核的 9950X。大容量缓存显著优化 HNSW 图检索算法，使索引构建耗时在 10 万和 20 万规模下分别缩短 50% 和 39%。

  3. LlamaIndex：产品、工程与评测45

    LlamaIndex 发布 ParseBench 及 Opus 4.7 评测周报

    LlamaIndex 发布首期面向 AI Agent 的文档 OCR 基准 ParseBench，涵盖图表、表格及内容忠实度等指标。同时公布 Anthropic Opus 4.7 在该基准下的测试结果，显示其图表解析能力显著提升但其他项表现不一。此外，工具 LiteParse 加入生态并上线官网，支持快速解析多种格式。

4月20日周一
4月19日周日
  1. The Decoder：AI News51

    首批 token 计数显示，尽管 Anthropic 定价持平，Opus 4.7 成本仍显著高于 4.6

    Anthropic 的 Opus 4.7 虽维持与 4.6 版本相同的每 token 定价，但用户实际成本显著攀升。原因在于新版采用新的 tokenizer，将相同文本拆解的 token 数量增加了 47%。这意味着尽管表面定价持平，Claude Code 用户每次请求的实际支出明显上涨。早期实测数据揭示了这种隐性成本增长对开发者的具体影响。

  2. The Decoder：AI News

    新基准测试发现：图表复杂度提升时，顶尖AI模型性能损失近半

    RealChart2Code 基准测试针对基于真实数据集构建的复杂可视化图表，对14个领先AI模型进行评估。结果显示，当图表结构趋于复杂时，即使是最顶尖的专有模型，其性能也损失近半，远低于在简单测试中的表现。这一发现揭示了当前AI模型在理解和转换复杂数据可视化内容方面存在显著局限。

4月17日周五
  1. AI as Normal Technology70

    CRUX 项目提出“开放世界评估”测试前沿AI能力

    CRUX项目由17位研究者组成，通过“开放世界评估”在真实场景中测试AI能力。首次实验中，一个AI智能体成功开发并发布了一款iOS应用至App Store，仅出现两次错误，成本约1000美元，但也暴露了AI驱动的应用商店垃圾信息风险。

    推荐理由：这篇提出「开放世界评估」概念，用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务，这给评估方法论和 App Store 反垃圾都敲了警钟。

  2. Simon Willison 博客49

    我笔记本上的 Qwen3.6-35B-A3B 画得比 Claude Opus 4.7 更好的鹈鹕

    阿里巴巴发布 Qwen3.6-35B-A3B 后，科技博主 Simon Willison 用其自创的"骑自行车鹈鹕"SVG 生成测试对比了该模型与 Anthropic 新发布的 Claude Opus 4.7。结果显示，仅需 20.9GB 显存的量化版 Qwen3.6-35B-A3B 在 MacBook Pro M5 本地运行时，生成的鹈鹕图像在自行车结构、背景细节和鸟类特征上均优于 Opus 4.7。在另一项"骑独轮车火烈鸟"测试中，Qwen 同样胜出。作者指出，尽管这并不意味着该模型整体性能超越 Claude，但在特定图像生成任务上，本地运行的开源模型已能击败顶级闭源对手。

4月16日周四
  1. Greg Brockman

    来自 Terence Tao 的鼓舞人心的评论！ [引用 @haider1]：数学家 Terence Tao 关于 gpt-5.4 pro 解决 Erdős 问题 #1196： "这篇 AI 生成的论文可能通过揭示早期工作未能明确阐明的更深层次的数学联系，做出了有意义的贡献， 其价值超越了解决这个特定的 erdős 问题"

    引用Haider.@haider1

    mathematician Terence Tao on the gpt-5.4 pro solving Erdős problem #1196: "the AI-generated paper may have made a meaningful contribution by revealing a deeper mathematical connection that earlier work had not clearly made explicit, which value beyond solving this particular erdős problem"

4月15日周三
  1. Hugging Face 社区博客71

    深入VAKRA：智能体的推理、工具使用与失败模式

    IBM Research在Hugging Face发布的博客详细剖析了其智能体框架VAKRA的核心机制。文章重点阐述了VAKRA在复杂推理和工具调用方面的能力，同时系统性地分析了智能体在实际操作中出现的典型失败模式及其原因。该研究旨在通过深入理解智能体的行为逻辑与局限，推动更可靠、鲁棒的自主智能系统发展。

    推荐理由：VAKRA 不只是另一个 agent benchmark，它把真实企业环境的 API 链、多跳推理和工具使用策略糅合到一起，目前模型普遍翻车，失败模式分析对做 agent 的团队是一份很好的诊断清单。

4月14日周二
4月13日周一
4月11日周六
  3. Noam Brown

    GTOWizard 测试显示，GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro、Grok 4 等主流模型在与专业扑克 AI 的 5000 手无限注德州扑克单挑中全部落败。推主调侃，既然直接玩扑克不行，不如测试 AI 生成会玩扑克的 AI 的能力。

    引用GTOWizard@GTOWizard

    We benchmarked every major AI model at poker. GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro, Grok 4 and more. All played 5,000 hands of heads-up no-limit against our state-of-the-art poker agent. Every single one lost. Here's the full breakdown 🧵 https://t.co/Krbg3VHQjN

4月10日周五
  1. 公众号：智谱59

    GLM-5.1获LMArena代码榜开源第一、全球第三

    GLM-5.1在LMArena Code Arena专项榜单登顶全球开源模型第一，位列全球第三。该模型在长程任务上取得突破，可实现8小时从零构建Linux桌面、655次迭代优化向量数据库、1000轮工具调用优化机器学习模型负载。在METR榜单同等评估标准下，GLM-5.1是唯一达到8小时级持续工作的开源模型，也是全球除Claude Opus 4.6外少数具备该能力的模型。

4月8日周三
  1. Artificial Analysis

    Artificial Analysis 发布 APEX-Agents-AA 排行榜，基于 Mercor 的 APEX-Agents 基准评估 AI 代理在长周期专业任务（投资银行、管理咨询、公司法）的表现。测试通过 Stirrup 框架和 MCP 工具执行 452 个任务，涵盖消息回复、文档处理等。结果显示 GPT-5.4 以 33.3% 领先，Claude Opus 4.6 (33.0%) 和 Gemini 3.1 Pro Preview (32%) 紧随其后，三强竞争激烈。评分采用 LLM 评判和 pass@1 标准。

  2. Artificial Analysis

    针对真实场景任务需求，我们发布了AI Agent全景概览报告，涵盖通用办公、编程、聊天机器人、演示文稿、OCR、数据分析及客户支持七大类别。报告详细梳理了各类Agent在文件类型处理、系统集成、浏览器自动化、自定义模型支持及开源状态等关键维度的能力差异。这仅是Agent基准测试的开端，后续将持续推出更多定量分析，深入评估各场景下Agent的实际表现与适用性。

  4. Berkeley RDI：Blog87

    我们如何攻破顶级AI Agent基准测试及未来展望

    伯克利研究团队开发自动化扫描代理，系统审计SWE-bench、WebArena等八个主流AI Agent基准测试，发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段，该代理在未实际解决任何任务的情况下，于Terminal-Bench、SWE-bench Verified等测试中获得100%满分，WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷，高分不等于真实能力。

    推荐理由：伯克利团队从内部挨个拆解了八大主流基准，发现全都能被零能力 agent 打满分。这不只是打脸，他们给出了一份评估构建清单，以后做基准的人必须过了这一关才算及格。

4月6日周一
  1. Berkeley RDI：Blog73

    UC Berkeley 团队用 AI Agent 审计出 13 个主流基准的 45 个作弊漏洞

    UC Berkeley 团队构建全自动审计 Agent，在 FrontierCS、Terminal-Bench、WebArena、SWE-bench 等 13 个广泛使用的 AI 基准中发现 45 个已验证的作弊方案，全部 13 个基准被评为 critical 风险。

    推荐理由：原文用自动审计给出13个基准的45个可复现漏洞和修复建议，读者可据此审视自己依赖的评测分数。

4月4日周六
4月3日周五
3月29日周日
  1. Gary Marcus：The Road to AI We Can Trust

    当前前沿模型视觉理解的幻象

    当前前沿多模态大模型在标准胸部X光问答基准测试中，无需访问任何图像即可获得顶级排名。这一反常现象暴露出模型视觉理解能力的严重缺陷，表明其性能可能依赖数据偏见或文本线索而非真实的图像解析能力。研究揭示了现有视觉语言模型评估体系的深层漏洞，指出所谓"视觉理解"可能只是缺乏真实感知能力的幻觉。

    推荐理由：揭示多模态基准测试漏洞，医学AI应用需警惕数据泄露风险

3月28日周六
  1. Artificial Analysis

    AA-AgentPerf是面向Agent时代的AI硬件基准测试，采用真实Agent工作负载（支持200轮交互和超10万token序列），而非合成查询。该基准允许KV cache重用、分离式预填充/解码等生产级优化技术，测量每加速器、每kW TDP、每小时成本及每机架的最大并发用户数。支持从单卡到整机架的各类架构，首批覆盖gpt-oss-120b和DeepSeek V3.2模型，旨在为AI硬件采购与部署提供真实性能参考。

3月26日周四
  1. OpenAI：Alignment 研究博客47

    Model Spec Evals评估套件发布

    OpenAI推出了一套新的评估套件Model Spec Evals，用于系统衡量模型遵循其《模型规范》的程度。该规范明确了模型行为的设计原则与约束条件，涵盖输出内容、行为边界及交互方式等方面。此次发布的评估工具旨在量化模型对齐规范的具体表现，是OpenAI推进模型行为标准化、透明化的重要步骤。

3月25日周三
  1. Artificial Analysis

    Inworld、ElevenLabs 与 MiniMax 继续领跑 TTS 排行榜，今年发布的模型包揽前五中的四席。当前领先模型在简单文本上逼真度显著提升，用户偏好差异主要体现在声音风格选择上。评估方法已加强机器人投票过滤，并新增基于95%置信区间的排名范围。具体指标方面，Inworld TTS 1.5 Max 以1,238 Elo分居首，Kokoro 82M v1.0以$0.65/百万字符成为价格最低选项，WaveNet则以每秒419字符领先批处理速度。

  2. ARC Prize：官方博客72

    ARC Prize 发布交互式基准 ARC-AGI-3，ARC Prize 2026 设超 200 万美元奖金

    ARC Prize 官方发布 ARC-AGI-3，包含数百个由人类游戏设计师手工制作的回合制交互环境，无指令、无规则、无既定目标，要求智能体自行探索并跨关卡迁移所学。人类得分 100%，前沿 AI 得分 0.51%。ARC Prize 2026 同步开启，奖金超 200 万美元，设 ARC-AGI-3 竞赛与 ARC-AGI-2 大奖两个开源竞赛，并发布技术论文。

    推荐理由：官方公布交互式基准的构成、人类与前沿 AI 的分数差距及两个竞赛的奖金安排，可据此了解智能体评测方向。

3月20日周五
3月11日周三
  1. Cursor Blog

    Cursor 如何评估模型质量

    Cursor 采用混合在线-离线评估流程衡量 AI 编程助手质量。离线端使用内部套件 CursorBench，基于真实开发会话构建，涵盖多文件修改、生产日志排查等复杂任务，相比公共基准更能区分前沿模型（如识别 Haiku 与 GPT-5 的实际差异）。在线端通过真实流量监控补充，捕捉离线评分遗漏的体验回归。两者结合确保模型评估与开发者实际体验一致。

3月6日周五
  1. Manus：Blog64

    Manus 内容作者实测 Google Veo 3：唇同步惊艳但整体表现参差

    Manus 内容作者用四个提示实测 Google Veo 3，发现对话唇同步质量达到纪录片级，但产品一致性、动作场景和电影测试均出现明显问题。测试中为完成四个视频从 Google AI Plus（$7.99/月）两次升级到 Google AI Pro（$19.99/月），结论是 Veo 3 在对话类内容上表现突出，但尚不是演示所暗示的可靠全能视频生成器，剪辑最长 8 秒且受每日生成限制。

    推荐理由：作者用四个提示实测 Veo 3 并给出各档订阅价格与真实短板，读者可据此判断它适不适合自己的使用场景。

  2. Manus：Blog60

    Manus 实测 8 个 AI 作品集构建工具，评选 2026 年最佳免费选项

    Manus 博客用同一严格提示测试 8 个 AI 作品集构建工具，从设计质量、AI 智能化程度、发布能力和转化重点评估。Manus 和 Replit 均获 9/10 并列第一，Aura、Figma、Webflow 得 8 分，Lovable、Wix 得 7 分，Jimdo 得 6 分。

    推荐理由：作者用同一严格提示实测 8 个工具并给出评分和价格表，读者可按预算和设计风格直接对号入座选型。