跳到正文
#评测/基准
5月6日周三
  2. Artificial Analysis58

    MiniMax-M2.7模型已在六家推理服务商上线，各提供商在速度和价格上差异明显。SambaNovaAI以每秒435个输出令牌的速度领先，比其他提供商快3倍以上，但其价格也高出约2倍。FireworksAI、Novita Labs等四家则与MiniMax官方API定价持平。分析指出，Fireworks和SambaNova在速度与价格的权衡中处于帕累托前沿：前者性价比高，后者则以高价换取极致速度。此外，各家的高速缓存折扣政策不同，这对缓存密集型工作负载的成本影响显著。因此，最优选择高度依赖于具体工作负载对延迟和成本的敏感度。

5月5日周二
  1. Luma71

    Luma Labs 推出的 UNI-1.1-Max 和 UNI-1.1 多模态模型在 Image Arena 的文本生成图像与图像编辑综合排名中位列第三，且未采用智能体搜索技术。具体来看，在文本生成图像竞技场中，两款模型分别排名第六和第七；在多图像编辑和单图像编辑竞技场中，它们均进入前十一名，其中 UNI-1.1-Max 在单图像编辑中排名第七。这一成绩标志着 Luma Labs 在多模态前沿领域取得了扎实进展。

    引用Arena.ai@arena

    Exciting news: UNI-1.1-Max and UNI-1.1 debuts making @LumaLabsAI the #3 lab in the Image Arena across both Text-to-Image and Image Edit! These are versions released without agentic search. Text-to-Image Arena - UNI-1.1-Max #6 overall (1193), +12 points over MAI-Image-2 - UNI-1.1 #7 overall (1190), +13 points over Reve-v1.5 Multi-Image Edit Arena - UNI-1.1-Max #7 overall (1315), +21 points over Seedream 4.5 - UNI-1.1 #8 overall, (1298) Single-Image Edit Arena - UNI-1.1-Max #7 overall (1337) - UNI-1.1 #11 overall, (1310) on par with Grok-Imagine-Image (20260207) Congratulations to @LumaLabsAI on this solid performance!

  3. Simon Willison 博客44

    Granite 4.1 3B模型SVG鹈鹕图集

    IBM近日发布了采用Apache 2.0许可证的Granite 4.1大语言模型系列。随后，Unsloth提供了该系列3B模型的21个GGUF量化变体。作者利用这些大小从1.2GB到6.34GB不等的量化模型，尝试生成“鹈鹕骑自行车”的SVG图像以测试其能力。实验结果显示，所有模型生成的图像质量均较差，且未观察到模型大小与输出质量之间存在明显关联。基于此次不理想的尝试，作者表示未来将选用更擅长图像生成的模型重新进行此类实验。

  4. Artificial Analysis69

    一款新的匿名模型在Artificial Analysis文本转图像竞技场中首次亮相，位列第8！Peanut的权重预计即将发布，这将使其成为领先的文本转图像开源权重模型。 Peanut定位为新的领先开源权重文本转图像模型，超越了Z-Image Turbo、Qwen-Image和FLUX.2 [dev]。 更多详细信息（及权重）即将公布。 查看下方🧵中Artificial Analysis图像竞技场里Peanut的生成示例。

  5. Elon Musk41

    在“Vals AI”的私人基准测试中，Grok 4.3在法律和金融领域展现出领先的智能水平。它在CaseLaw (v2)测试中以79.31%的准确率排名第一，该测试基于真实加拿大法庭案例，评估深度法律推理和先例理解能力，表现优于GPT-5.1。同时，它在针对复杂长期信贷协议的CorpFin (v2)测试中以68.53%的准确率夺冠，评估了对多页金融合同条款、风险的理解。这些模拟高风险现实挑战的测试表明，Grok 4.3在最困难的任务中具备卓越的推理能力。xAI正致力于构建世界所需的推理引擎。

    引用X Freeze@XFreeze

    Grok 4.3 just became the smartest AI in the world at law and money It took #1 on TWO brutal private tests no other model could win on “Vals AI” benchmarks #1 CaseLaw (v2) - 79.31% accuracy Private Q&A benchmark over real Canadian court cases. Tests deep legal reasoning, precedent understanding, and precise answers from complex judgments. (outranking GPT-5.1 at 73.42%) #1 CorpFin (v2) - 68.53% accuracy Private benchmark on long-context credit agreements. Evaluates how well models truly understand dense, multi-page financial contracts, terms, risks, and clauses These are not just basic tests - they’re real-world, high-stakes legal + financial reasoning challenges Grok 4.3 leads in accuracy on both, proving it’s not just fast or cheap… it’s the smartest at the hardest real world tasks xAI is building the reasoning engine the world needs

5月3日周日
  1. The Decoder：AI News54

    美国政府基准测试称中国在AI竞赛中落后，但独立数据并不支持

    美国政府机构评估称中国在人工智能竞赛中落后八个月，但独立数据并未证实这一差距。当前美国实验室持续追求更智能的模型，而中国玩家如深度求索（Deepseek）等提供的价格优势可能成为更关键的竞争筹码。这场竞赛的衡量标准正从单纯的技术指标扩展到包括成本效益在内的综合维度。

  2. The Decoder：AI News41

    Same prompt, different morals: 前沿AI模型在伦理困境上的分歧

    一项新基准测试让领先的语言模型处理100个日常伦理场景，涵盖从销售数据滥用到肿瘤学违规操作等领域。测试结果显示，不同前沿模型对相同伦理提示给出了差异显著的回应。这引出了一个核心问题：究竟由谁来决定AI被允许做什么，以及它应遵循谁的伦理准则？该基准旨在揭示和量化主流AI系统在道德判断上的不一致性。

5月2日周六
  1. The Decoder：AI News53

    ARC-AGI-3 分析显示，即便是最新 AI 模型仍存在三种系统性推理错误

    ARC Prize Foundation 对 OpenAI 的 GPT-5.5 和 Anthropic 的 Opus 4.7 在 ARC-AGI-3 基准测试中的 160 次任务运行进行了分析。研究发现，三种系统性错误模式导致这两个模型在人类能轻松解决的任务上得分均低于 1%。这些错误揭示了当前顶尖大语言模型在抽象推理能力上仍存在根本性缺陷。

  3. François Chollet70

    强化学习在已知领域能提升模型性能，但在未知领域可能导致模型产生幻觉，误以为在执行其他训练过的任务。这一现象在GPT-5.5等大模型的ARC AGI 3基准测试中有所体现，其得分仅为0.43%，与Claude 4.6、Gemini 3.1等模型表现相近。分析指出GPT-5.5的主要失败原因包括：局部效应正确但世界模型错误、从训练数据中提取的抽象层级不当，以及虽解决问题却未强化奖励机制。深入分析此类失败案例，有助于全面理解大模型在特定模态上的能力局限与改进方向。

    引用Chris@chatgpt21

    GPT-5.5 在 ARC AGI 3 上得分 0.43%！ - GPT-5.5：0.43% - Opus 4.7：0.18% - GPT-5.4：0.20% - Claude 4.6：0.45% - Gemini 3.1：0.4% GPT 5.5 报告的失败原因包括： - 真实的局部效果，错误的世界模型 - 来自训练数据的抽象层级错误 - 解决了关卡，但没有强化奖励 我认为完整的分析将帮助 OpenAI 全面理解模型在某些模态中失败的地方

    推荐理由：Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限，GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事，比任何安全论文都来得更直击要害。

5月1日周五
  1. PixVerse49

    主推文感谢了用户@TomLikesRobots分享的文本生成视频模型对比。对比在SeeDance 2.0和HappyHorse 1.0之间进行，使用了统一的提示词来生成具有低保真、温馨、赛璐珞风格动漫美学的视频。其中，HappyHorse由@PixVerse_提供，目前对会员免费。由于两个模型自带的音频效果不佳，创作者最终使用@Suno来生成背景音轨。

    引用TomLikesRobots🤖@TomLikesRobots

    SeeDance 2.0 vs HappyHorse 1.0 Very quick text-to_video comparison. Which do you prefer? Universal Prompt: "Aesthetic: lofi, cozy, warm tones, soft film grain, gentle bloom, analog textures. Camera default: 35 to 50mm equivalent, shallow depth of field, slow subtle moves, cut length 0.6 to 1.2 seconds. Style: Cozy cel-shaded anime." Thanks to @PixVerse_ for HappyHorse generations which are currently free to members. lofi audio tracks were pretty poor for both so I used @Suno for audio.

  3. Rohan Paul43

    LongCat团队推出LARYBench基准，旨在评估AI模型是否从视频中真正学习动作，而非仅在后端机器人策略中表现良好。该基准聚焦模型从视频提取的潜在动作表示，通过超过120万视频片段等数据，将评估拆分为动作分类与控制回归两个清晰测试。关键发现是，通用自监督视觉模型（如V-JEPA 2和DINOv3）表现优于专用具身模型，表明强大视觉表示已蕴含丰富动作知识，且潜在特征空间比像素重建更利于机器人控制映射。这为利用丰富视频数据解决机器人训练数据稀缺问题提供了新方向。

  4. Artificial Analysis57

    上周，Kimi K2.6、MiMo V2.5 Pro和DeepSeek V4 Pro三大领先开源模型发布，在Artificial Analysis Intelligence Index上得分达52-54分，与顶尖闭源模型GPT-5.5的60分差距缩小至6分以内，相比一年前22分的开源模型进步显著。这些模型均为万亿参数规模的MoE架构。然而，在复杂推理、智能体编码及知识准确性方面，开源模型与闭源模型仍存在明显差距。例如在HLE、CritPt和TerminalBench Hard等专项评估中得分大幅落后；在Omniscience评估中，DeepSeek V4 Pro的幻觉问题尤为突出。

  5. OpenRouter68

    @xai 的新模型 Grok-4.3 现已在 OpenRouter 上线！ Grok-4.3 以比 Grok-4.2 更低的价格发布，同时在代理性能上实现大幅跃升：在 @ArtificialAnlys 的 GDPval-AA 基准上 ELO 分数提升 321 点至 1500，尽管价格更低，但仍超越了其他顶级模型。

    推荐理由：Grok-4.3 降价但性能反升，agentic 跑分直接到 1500，如果之前觉得 Grok 贵而没试过，这次可以上车了。

  6. Rohan Paul58

    前沿AI已能以超人速度和近乎零边际成本自主完成端到端的复杂专家级网络攻击链。在AISI的网络安全评估中，GPT-5.5与Mythos Preview表现相当，均远超GPT-4o等早期模型。GPT-5.5在包含32个步骤的企业网络攻击模拟中成功完成端到端攻击，而人类专家需约20小时。在一项人类专家需12小时完成的反向工程任务中，GPT-5.5仅用11分钟、花费1.73美元即告解决。

    引用AI Security Institute@AISecurityInst

    OpenAI’s GPT-5.5 is the second model to complete one of our multi-step cyber-attack simulations end-to-end 🧵

  7. Artificial Analysis65

    蚂蚁集团InclusionAI实验室发布开源非推理模型Ling 2.6 1T。该模型拥有1万亿参数，在Artificial Analysis Intelligence Index上得分为34分，较前代Ling-1T提升15分，智能水平接近DeepSeek V3.2等同类模型。其在科学推理与知识任务上表现扎实，GPQA得分达75%。模型运行效率较高，执行该指数仅需约1600万输出tokens，成本效益突出，通过官方API运行全套指数成本约95美元。但其事实可靠性较弱，在AA-Omniscience基准上得分为-51分，主要因幻觉率高达92%。模型权重已在Hugging Face公开。

  8. Artificial Analysis46

    在名为CritPt的尖端科学评估中，GPT-5.5 Pro (xhigh) 以比前代GPT-5.4 Pro (xhigh) 低60%的成本和令牌使用量，实现了0.5个百分点的性能提升，将得分推至30.5%。CritPt评估包含全球30多家机构的60多名研究人员贡献的研究生级别物理问题。自2025年11月发布以来，最高分从Gemini 3 Pro Preview的9%跃升至GPT-5.4 Pro的30%。OpenAI指出，GPT-5.5 Pro相比GPT-5.5“使用了更多计算资源进行深度思考，以提供更稳定的优质答案”。该模型每令牌定价相同，但通过使用更少的令牌完成了评估。

  9. Sam Altman43

    lisan 多说点我们的坏话 你太客气了 [引用 @scaling01]：GPT-5.5 is on par with Claude Mythos - GPT-5.5 平均通过率 71.4% (±8.0%) - Mythos Preview 68.6% (±8.7%) - GPT-5.5 在 11 分钟内以 1.73 美元成本完成了一项人类专家需约 12 小时的任务

    引用Lisan al Gaib@scaling01

    GPT-5.5 is on par with Claude Mythos - GPT-5.5 average pass rate of 71.4% (±8.0%) - Mythos Preview 68.6% (±8.7%) - GPT-5.5 solved a task that takes a human expert ~12 hours in under 11 minutes at a cost of $1.73

  10. Artificial Analysis64

    阿里巴巴开源了Qwen3.6系列两款模型：27B密集模型和35B A3B混合专家模型。其中，Qwen3.6 27B在Artificial Analysis智能指数上得分46，成为150B参数以下最智能的开源模型，领先于Gemma 4 31B等。但其运行完整测试消耗的输出token约为后者的3.7倍，成本高出约21倍。两款模型均采用Apache 2.0许可，支持262K上下文，具备多模态能力。值得注意的是，其幻觉率较前代大幅下降，但准确率基本持平。更大的Plus和Max Preview版本未开源。

4月30日周四
  1. Artificial Analysis56

    腾讯发布开源混合专家模型Hy3-preview，总参数量2950亿，激活参数量210亿。其在Artificial Analysis综合智能指数上得分42，落后于近期开源的GLM-5.1、DeepSeek V4 Flash及Qwen3.6 27B等推理模型。具体评测表现不均衡：在真实世界任务基准GDPval-AA上落后于主要竞品，但在研究级物理评测CritPt上与高分模型GLM-5.1持平；其相对弱项在于AA-Omniscience指数，幻觉率较高。模型采用Tencent HY社区许可协议，商业使用受限，已在Hugging Face和SiliconFlowAI平台提供。

  2. Anthropic：Research63

    使用BioMysteryBench评估Claude的生物信息学研究能力

    Anthropic团队开发了BioMysteryBench生物信息学基准测试，用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现，Claude的生物学科学能力正快速迭代，当前模型表现已与人类专家相当，最新模型甚至解决了部分专家小组未能破解的问题，且有时策略迥异。该基准旨在应对科学评估的固有挑战，如生物学研究中存在多种合理的“正确”方法，以及研究决策的高度主观性。

    推荐理由：Anthropic 用 99 道真实生物信息学题测 Claude，发现最新模型在人类解不出的难题上也能答对 30%，而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路，比刷分数字有意思得多。

  3. Hugging Face 社区博客62

    AI评估正成为新的算力瓶颈

    AI评估成本已突破关键阈值，正重塑其可及性。Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演，单次前沿模型测试成本可达2829美元。研究显示，相同任务成本差异可达33倍，脚手架选择是核心成本驱动因素。虽然静态基准可通过压缩技术实现百倍成本缩减，但智能体评估因轨迹长、噪声大而压缩有限。高支出未必带来更好结果：例如在GAIA测试中，2828美元方案准确率28.5%，而1686美元方案反达57.6%。当评估包含模型训练时，成本将完全超越常规API框架。

    推荐理由：这篇把分散的评估成本数据拉通了算总账，曾经便宜的评测现在动辄上万美元，独立评估正被价格挤出牌桌，做Agent的人必须意识到排行榜的代价。

  4. Augment Code 博客67

    Augment Code 实测 Karpathy 风格规则让编码 Agent 更省时省成本，但代码质量未提升

    Augment Code 在 AGENTS.md 中加入约 2.5k 字符的 Karpathy 风格编码规则，用 Auggie、Claude Code 和 Codex 对 40 个 OpenClaw PR 各跑 6 次对照测试。

    推荐理由：原文以 40 个 OpenClaw PR 的对照实验给出 Karpathy 规则对三个编码 Agent 的效率与质量影响，结论可迁移到自己的 AGENTS.md 配置。

4月29日周三
  2. Rohan Paul54

    GPT-5.5 Pro在Epoch AI的ECI指数中获得159分，创下该综合能力评分的新纪录，表明其在多项测试中的整体模型能力目前领先。ECI指数旨在通过整合多个基准测试来评估模型的广泛推理能力，避免单一测试易被针对性优化的问题。此外，GPT-5.5 Pro与GPT-5.5共同解决了两个此前未有模型能处理的Tier 4级别难题。

    引用Epoch AI@EpochAIResearch

    GPT-5.5 Pro achieves a new high score of 159 on the Epoch Capabilities Index! ECI is our statistical tool that combines multiple benchmarks into a unified scale.

4月28日周二
  1. CMU：Machine Learning Blog58

    介绍ARFBench：基于真实事件的时间序列问答基准

    每年系统故障导致损失超万亿美元，工程师需通过分析时间序列数据快速定位问题。时间序列问答（TSQA）是关键运维任务，对AI模型构成挑战。为此，研究团队推出ARFBench基准，基于Datadog真实内部事件及遥测数据构建。测试显示，当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型，其整体性能接近前沿水平，为TSQA任务提供了新评估框架和改进方向。

    推荐理由：CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准，结论很诚实，现有模型全拉胯。做 SRE Agent 的团队该看看，这比合成数据的 benchmark 有说服力得多。

4月27日周一
  3. OpenRouter：Announcements57

    Opus 4.7新分词器对成本的实际影响

    Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据，分析发现这一技术调整改变了文本转换为令牌的方式，直接影响API计价。相同的文本输入可能产生不同数量的令牌，从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力，但关乎运营开销，是开发者和企业用户需评估的关键因素。

    推荐理由：Opus 4.7 换了 tokenizer，大多数人只知道模型变强了，不知道计费逻辑也变了。OpenRouter 用真实流量数据算了一笔账，做成本预算的产品人值得扫一眼。

  6. OpenAI：官网动态71

    为什么 SWE-bench Verified 不再衡量前沿编码能力

    OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建，其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升，基准测试集趋于饱和，区分度下降，现有模型表现已接近人类水平。因此，团队将转向更具挑战性和现实复杂度的新评估方法。

    推荐理由：OpenAI 亲自给 SWE-bench Verified 判了死刑，这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想，你的 benchmark 体系是不是也该换了。

4月26日周日
4月25日周六
  1. Rohan Paul72

    在一场卡丁车游戏开发竞赛中，GPT-5.5击败了Deepseek V4 Pro。尽管Deepseek的成本仅为GPT-5.5的1/4.3，且生成了近两倍的代码量，但其最终游戏在图形、打磨和创意连贯性上均显不足。结果表明，游戏质量与成本、生成速度或代码量并无直接关联。游戏开发不仅是代码生成，更涉及系统设计、视觉判断、节奏把控和美学决策等长程规划，这些要素需协同作用才能产出优质作品。

    引用atomic.chat@atomic_chat_hq

    Deepseek V4 Pro vs GPT-5.5 in a gamedev contest (full prompt is below)🏎️ Cost: Deepseek V4 Pro: $0.07656 GPT-5.5: $0.33063 Output stats: Deepseek: 34 tok/s · 9m 5s · 18,869 tokens GPT-5.5: 25 tok/s · 7m 5s · 10,580 tokens Conclusion: GPT-5.5 clearly made the better karting game. Deepseek V4 Pro was 4.3x cheaper and generated almost 2x more tokens, but the final result was weaker. It struggled with graphics, visual polish, and creative direction, while GPT-5.5 delivered better game quality, better visuals, more creativity, and stronger overall execution. Even though Deepseek positions itself as a strong model for coding, in this gamedev test it still felt far behind GPT-5.5. Try the same karting prompt with another AI model and share your result below.

4月24日周五
  1. The Decoder：AI News44

    GPT-5.5 登顶基准测试榜首，但幻觉问题依然频发且API价格上涨20%

    OpenAI发布的最新模型GPT-5.5在多项AI基准测试中重回榜首，性能领先于其他专有模型。然而，该模型仍存在频繁产生幻觉（即生成不准确或虚构信息）的问题。在定价方面，其API调用成本较前代上涨了20%。综合来看，尽管价格上涨且存在缺陷，GPT-5.5在专有模型中仍被认为具有较高的性价比。