Google Labs 提出以“洞察策略”评估 AI 编码智能体的主动性，而非仅按任务完成度打分。团队基于 Google 内部代码库 705 个 bug（1178 个 CL），通过时空近邻与语义相似度聚类还原开发者实际的高层级目标。初步实验显示：Jules 在单轮探索下洞察相关性评分平均 4.5/5；探索预算从两轮增至三轮时，Hit@5 准确率从 33% 升至 57%。团队正将评估方法扩展至公开 GitHub 数据，并探索纳入问题追踪器、对话等更丰富的上下文。
推荐理由：AI 编码代理的评估从任务修复转向目标洞察，Google 这个思路让评估更接近真实开发场景，但实验还是内部数据，等公开 GitHub 版本再看落地效果。
OpenRouter 是托管在 Cloudflare 边缘的 LLM 网关，无需管理基础设施，收取 5.5% 平台费（前 100 万次请求免费），支持 70+ 提供商和自动故障转移。LiteLLM 是自部署代理（Docker/PostgreSQL/Redis），数据不离开内网，免费开源，但需承担基础设施成本（生产部署约数百美元/月）。当模型月支出超过约 $3,600（基础设施 $200/月）或 $9,100（基础设施 $500/月）时自托管更划算。LiteLLM 提供六种路由策略和自定义 Python 路由；OpenRouter 具备 SOC 2、GDPR 认证和零数据保留选项。两者可串联使用。
推荐理由：OpenRouter 这份官方对比很坦诚，把成本、延迟、合规的权衡掰开了讲，自建 LiteLLM 和托管谁更划算的算术也给清楚了，做 LLM 网关选型的直接看这篇就够了。
每周超2.3亿用户通过ChatGPT获取健康信息。GPT-5.5 Instant在健康评估中表现显著提升，最具挑战性评测上达到前沿Thinking模型水平，已面向所有免费用户开放。基于医生编写的HealthBench和HealthBench Professional评估，其回复在准确性、安全性和沟通质量上优于医生手写回复及早期模型，故障模式发生率更低。近两个月生产流量显示，健康类回复事实性问题率下降71%。
推荐理由：GPT-5.5 Instant把健康智能提升到接近前沿思考模型水平并免费提供，与医生对比的实验和71%的错误率下降让这次更新有切实证据。
英国 AI Security Institute（AISI）发布 Engineering Playbook，将评估前沿 AI 模型的方法与基础设施实践整理为开放指南。
2026 年 6 月，OpenAI 联合 173 位博士级生命科学家发布 LifeSciBench 评测基准，涵盖 750 个真实研究任务，覆盖证据处理、分析、设计优化等七个工作流及七个生物领域。每项任务配有约 25 条细化评分标准（共 19,020 条），评估模型的科学正确性与实用价值。79% 的任务需多步推理，53% 要求解读图表、PDF 等附件数据，旨在衡量 AI 在复杂、不确定的研究任务中的实际能力，而非仅回答结构化问题。
推荐理由：OpenAI 这个基准请了 173 位博士级科学家出题，第一次把 AI 评估拉到真实科研决策里。结果很实在：前沿模型在需要结合复杂图表、设计实验的任务上仍然乏力，做 AI for Science 的团队值得拿来校准预期。
CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明：若直接给出漏洞位置，最强配置可修复约80%漏洞；但若需自行发现，端到端成功率急剧下降——Claude Opus 4.5仅19.2%，最新模型在37%-66%之间。智能体可能发现替代漏洞，且存在部分浅层补丁。所有漏洞已事先公开披露并修复。
推荐理由：伯克利这个新基准把漏洞发现、利用、修复串成一条线，结果很直观，修复能做到 80%，但自己找漏洞只剩 20%，新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
Together AI 用 Kimi K2.7 Code 和 Claude Fable 5 各生成 12 个落地页做对比，Kimi 平均成本约低 94%（约为 Fable 的 1/16、Opus 4.8 的 1/8），质量评分接近但整体略低。
推荐理由：原文给出12个落地页的逐页成本与质量评分对比，还展示了用设计 MCP 补充视觉参考这一可复用的提效方法。
LangSmith 推出新功能，允许用户评估和对比微调后的开源大语言模型。该平台支持同时测试多个模型、自动化评估流程，并帮助选择性能最佳的 AI 模型。
LangSmith Evaluation 推出 30 多个评估器模板和一个中央中心，支持跨项目复用评估器，无需每次从零开始构建。用户可直接选用预置模板或自定义评估逻辑，在 LangSmith 平台内统一管理和共享评测流程，从而更快交付更可靠的 AI 应用评估。
13个平台提供免费LLM API，含永久免费层与试用额度。OpenRouter拥有20+免费模型，单密钥无需信用卡；Groq以约320 tokens/秒运行Llama 3.3 70B；Google AI Studio支持1M上下文；Mistral实验层约10亿token/月但需同意数据训练；Cerebras约1M token/天；GitHub Models提供GPT-4o、Claude 3.5 Sonnet等前沿模型。各免费层有速率限制、数据训练授权、上下文缩减等隐藏成本，建议早期测试2-3个方案并设置故障转移。
推荐理由：免费 LLM API 不是免费的，这篇文章把 13 家平台的隐藏成本、速率限制和真实可用性都算清楚了，想省钱的开发者值得花五分钟看一遍。
2026年6月，伯克利RDI发布Agents’ Last Exam（ALE）基准，包含1,500余项源于真实工作的任务，覆盖55个非体力职业。对Fable 5、GPT-5.5、Composer 2.5等前沿智能体的测评显示：在最困难层级成功率均为0%；整体任务表现接近，但单任务成本差异巨大（Fable 5约$15.70，GPT-5.5约$3.80，Composer 2.5约$1.33）。CLI子集ALE-CLI最佳通过率仅25.2%。主要失败模式是智能体未验证输出即宣称完成。数据集、代码及CLI子集已开源。
推荐理由：在Fable 5发布后，Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平，最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
UC Santa Barbara与UC Berkeley团队基于OpenSage框架构建了CTF专用智能体SageCTF。在DEF CON CTF 2026资格赛中，SageCTF以单人玩家身份尝试15道挑战，成功攻克7道、恢复8个flag，总计1,743分，排名前5%，超越全部自评“不使用AI”或“低AI”的175支团队。在50道近期CTF挑战的对比测试中，SageCTF以Claude-Opus-4.6为主模型，在相同预算（每道$200/10小时）下解出39道，而Claude Code仅解出13道，且Claude Code的解出全部被SageCTF覆盖。技术核心包括AI自生成拓扑、多智能体通信、分层记忆及多模型协同编排。
推荐理由：SageCTF 在 DEF CON CTF 排进前 5%，是 AI agent 在顶级安全竞赛中的首次重大突破。OpenSage 的自构建多智能体架构和十小时持续探索的能力，给做复杂推理工具的人提供了真参考。
LlamaIndex 发布本周通讯，重点包括在 CVPR 2026 展示首个面向 AI Agent 的文档解析基准 ParseBench（含 2000+ 人工验证页面），公布 Anthropic Fable 5 在该基准下的 Day 0 测试结果（内容忠实度 90.02%），并推出 LlamaParse 细粒度边界框功能及开源可视化工作流工具 Parse-Flow。此外还预告了相关线下活动与比赛。
Cognition 发布 FrontierCode 基准，从代码正确性转向衡量模型能否写出可被维护者合并的高质量代码，由 20 多名开源维护者基于 36 个仓库构建任务，每任务投入超 40 小时。
Anthropic与顶尖化学家合作，提升Claude在化学领域的实用性。首个白皮书测试Claude在NMR谱图分析上的表现：在20个化合物上，对比Claude Opus 4.7、Opus 4.6、Sonnet 4.6与ChemDraw、MestReNova的正向预测（从结构预测谱图）和反向结构解析（从实验谱图推断结构）能力。所有化合物选自模型训练截止日期后发布的ChemRxiv预印本，以避免选择偏差。
推荐理由：化学家可能几年后回头看会记起这篇，Claude Opus 4.7 在 NMR 预测上追平了 ChemDraw，还顺手做了反向结构解析——专业软件不干的事，它用更接近人类日常输入的方式做到了。
OpenRouter 在 30 场机器人冲刺对决中测试了 11 款大语言模型，共耗 482 美元推理成本。结果指向一个发现：应该重新审视模型 benchmark 的解读方式。
推荐理由：第一次看到对齐税被游戏化量化，Grok能赢是因为它没被训练成好人，Claude总想组队则拖后腿，怎么选模型得看你想要哪种人。
Tibo@thsottiauxAI 评分6363Many developers have suspected for months that GPT-5.5 outperforms Claude Sonnet for coding. But SWE-Bench reported near-parity, and it made people question what they’d been seeing in practice. DeepSWE aligns more closely with that day-to-day experience: GPT-5.5 scores 70% versus Claude Sonnet at 32%. That difference is substantial. DeepSWE focuses on what tends to matter in real workflows: whether an agent can take a short behavioral prompt, locate the correct area of the codebase, and implement the change cleanly - without needing you to enumerate files, modules, and functions. SWE-Bench often fails to capture that, due to dataset contamination and weaker verification. https://deepswe.datacurve.ai/blog
现有视觉语言模型框架主要在离线场景下评估性能，但实时视觉助手所依赖的流式模型还需考量额外指标，如反映响应时效性的“主动性”和捕捉随时间推移响应稳定性的“一致性”。为此，研究团队提出了VSAS-Bench，这是一个新的评估基准，专门针对流式视觉语言模型在实时交互任务中的表现，填补了当前评估方法在动态、持续生成场景下的空白。
推荐理由：苹果搞了个实时视觉助手的评估基准，把离线评测拉到了流式场景，多模态 agent 和实时 VLM 方向的研究者值得跟进一下评估方法。
Anthropic 与 ExploitBench、ExploitGym 和 SCONE-bench 的研究者合作，测量了 Claude Mythos Preview 的漏洞利用能力。在 ExploitBench 的 V8 基准（41 个已修复漏洞）上，Mythos Preview 是唯一能可靠突破 V8 沙箱（从 T3 到 T2）的模型，并在超过一半的环境中实现突破；在 Baseline 和 Nudged 变体中共完成 21 个 CVEs 的任意代码执行（ACE），而其他所有模型的 ACE 数为零。Mythos Preview 还实现了近一半测试环境中的控制流劫持（T1）。该模型通过 Project Glasswing 谨慎发布，尚未开放通用访问。
推荐理由：Mythos Preview 在三大漏洞基准上碾压式领先，第一次展示了前沿模型能端到端开发漏洞，安全基线从此改写，做安全的该认真读。
一场涵盖11个大语言模型的30轮大逃杀式评测，花费482美元推理成本，得出了一个应改变读者阅读模型基准方式的关键发现。
Augment Code 发布 Auggie CLI 与 Claude Code 在 Opus 4.7 上的对比评测。Terminal Bench 2.0 上 Auggie pass rate 67.4% 对 66.3%，总成本低 33%（$463.04 对 $694.50），总 token 少 32%；SWE-Bench Pro 上质量略高、成本低 23%。
τ-Knowledge 基准测试衡量 AI 智能体在混乱、不断演变的知识库中完成复杂多步任务的能力。尽管模型持续改进，但在实际应用中仍难以可靠地利用这些信息，与真实世界性能之间存在较大差距。
ARC Prize 分析了 GPT-5.5 和 Opus 4.7 在 ARC-AGI-3 上的 160 段推理回放，两模型在半私 数据集上的得分分别为 0.43% 和 0.18%，并开源了分析包。
推荐理由：作者基于 160 段推理回放归纳出三种可复用的失败模式分类，并对比两个模型在压缩策略上的差异。
Anthropic团队开发了BioMysteryBench生物信息学基准测试，用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现，Claude的生物学科学能力正快速迭代，当前模型表现已与人类专家相当，最新模型甚至解决了部分专家小组未能破解的问题，且有时策略迥异。该基准旨在应对科学评估的固有挑战，如生物学研究中存在多种合理的“正确”方法，以及研究决策的高度主观性。
推荐理由：Anthropic 用 99 道真实生物信息学题测 Claude，发现最新模型在人类解不出的难题上也能答对 30%，而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路，比刷分数字有意思得多。
Augment Code 在 AGENTS.md 中加入约 2.5k 字符的 Karpathy 风格编码规则，用 Auggie、Claude Code 和 Codex 对 40 个 OpenClaw PR 各跑 6 次对照测试。
推荐理由：原文以 40 个 OpenClaw PR 的对照实验给出 Karpathy 规则对三个编码 Agent 的效率与质量影响，结论可迁移到自己的 AGENTS.md 配置。
Factory 对 13 个模型在来自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 个真实 PR 上做了代码审查基准，每个模型至少跑 3 次。
推荐理由：原文给出13个模型在50个真实PR上的F1与成本数据，读者可按预算直接挑选代码审查模型。
每年系统故障导致损失超万亿美元，工程师需通过分析时间序列数据快速定位问题。时间序列问答（TSQA）是关键运维任务，对AI模型构成挑战。为此，研究团队推出ARFBench基准，基于Datadog真实内部事件及遥测数据构建。测试显示，当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型，其整体性能接近前沿水平，为TSQA任务提供了新评估框架和改进方向。
推荐理由：CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准，结论很诚实，现有模型全拉胯。做 SRE Agent 的团队该看看，这比合成数据的 benchmark 有说服力得多。
Anthropic 为 Opus 4.7 更换了分词器（tokenizer）。OpenRouter 通过分析用户从 Opus 4.6 迁移至 4.7 的使用量变化，测算了新分词器对实际成本的影响。
Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据，分析发现这一技术调整改变了文本转换为令牌的方式，直接影响API计价。相同的文本输入可能产生不同数量的令牌，从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力，但关乎运营开销，是开发者和企业用户需评估的关键因素。
推荐理由：Opus 4.7 换了 tokenizer，大多数人只知道模型变强了，不知道计费逻辑也变了。OpenRouter 用真实流量数据算了一笔账，做成本预算的产品人值得扫一眼。
OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建，其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升，基准测试集趋于饱和，区分度下降，现有模型表现已接近人类水平。因此，团队将转向更具挑战性和现实复杂度的新评估方法。
推荐理由：OpenAI 亲自给 SWE-bench Verified 判了死刑，这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想，你的 benchmark 体系是不是也该换了。
LlamaIndex 发布首期面向 AI Agent 的文档 OCR 基准 ParseBench，涵盖图表、表格及内容忠实度等指标。同时公布 Anthropic Opus 4.7 在该基准下的测试结果，显示其图表解析能力显著提升但其他项表现不一。此外，工具 LiteParse 加入生态并上线官网，支持快速解析多种格式。
LlamaIndex 发布文档解析基准 ParseBench，包含约 2,000 页人工校验的企业文档页面和超 167,000 条测试规则，覆盖表格、图表、内容忠实度、语义格式和视觉定位五个维度。
伯克利研究团队开发自动化扫描代理，系统审计SWE-bench、WebArena等八个主流AI Agent基准测试，发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段，该代理在未实际解决任何任务的情况下，于Terminal-Bench、SWE-bench Verified等测试中获得100%满分，WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷，高分不等于真实能力。
推荐理由：伯克利团队从内部挨个拆解了八大主流基准，发现全都能被零能力 agent 打满分。这不只是打脸，他们给出了一份评估构建清单，以后做基准的人必须过了这一关才算及格。
UC Berkeley 团队构建全自动审计 Agent，在 FrontierCS、Terminal-Bench、WebArena、SWE-bench 等 13 个广泛使用的 AI 基准中发现 45 个已验证的作弊方案，全部 13 个基准被评为 critical 风险。
推荐理由：原文用自动审计给出13个基准的45个可复现漏洞和修复建议，读者可据此审视自己依赖的评测分数。
LangChain 称其 Deep Agents 评测显示 GLM-5 和 MiniMax M2.7 在文件操作、工具调用等核心智能体任务上接近闭源前沿模型。
推荐理由：原文给出 Deep Agents 自建 eval 的完整方法和开源模型与闭源模型的同任务对比数据，读者可复现并据此选型。
OpenAI推出了一套新的评估套件Model Spec Evals，用于系统衡量模型遵循其《模型规范》的程度。该规范明确了模型行为的设计原则与约束条件，涵盖输出内容、行为边界及交互方式等方面。此次发布的评估工具旨在量化模型对齐规范的具体表现，是OpenAI推进模型行为标准化、透明化的重要步骤。
ARC Prize 官方发布 ARC-AGI-3，包含数百个由人类游戏设计师手工制作的回合制交互环境，无指令、无规则、无既定目标，要求智能体自行探索并跨关卡迁移所学。人类得分 100%，前沿 AI 得分 0.51%。ARC Prize 2026 同步开启，奖金超 200 万美元，设 ARC-AGI-3 竞赛与 ARC-AGI-2 大奖两个开源竞赛，并发布技术论文。
推荐理由：官方公布交互式基准的构成、人类与前沿 AI 的分数差距及两个竞赛的奖金安排，可据此了解智能体评测方向。
METR 发布分析文章，梳理时间地平线（time horizon）结果背后的统计模型，并测试多种合理替代建模方法的影响。
Cursor 采用混合在线-离线评估流程衡量 AI 编程助手质量。离线端使用内部套件 CursorBench，基于真实开发会话构建，涵盖多文件修改、生产日志排查等复杂任务，相比公共基准更能区分前沿模型（如识别 Haiku 与 GPT-5 的实际差异）。在线端通过真实流量监控补充，捕捉离线评分遗漏的体验回归。两者结合确保模型评估与开发者实际体验一致。
Manus 内容作者用四个提示实测 Google Veo 3，发现对话唇同步质量达到纪录片级，但产品一致性、动作场景和电影测试均出现明显问题。测试中为完成四个视频从 Google AI Plus（$7.99/月）两次升级到 Google AI Pro（$19.99/月），结论是 Veo 3 在对话类内容上表现突出，但尚不是演示所暗示的可靠全能视频生成器，剪辑最长 8 秒且受每日生成限制。
推荐理由：作者用四个提示实测 Veo 3 并给出各档订阅价格与真实短板，读者可据此判断它适不适合自己的使用场景。