小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书发布移动端代码库基准测试 SWE-Bench Mobile，用于评估 AI Agent 修复亿级用户 App 代码库中 bug 的能力。测试结果显示，当前最高通过率仅为12%。
#评测/基准
公众号：小红书技术AI 评分4444
OpenAI：官网动态 Pacific Northwest National Laboratory 与 OpenAI 合作加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 联合发布 DraftNEPABench 基准测试，评估 AI 编程助手加速联邦许可流程的效能。数据显示，AI 有望将 NEPA 文件起草时间缩短最多 15%，推动基础设施审查现代化。
Hacker News：AI 热帖精选 LLM Skirmish：AI代理可玩的实时战略游戏基准测试
LLM Skirmish 是一个让大语言模型通过编写代码进行1v1实时战略游戏对战的基准测试。基于Screeps开源API，每场锦标赛包含五轮，LLM可根据对战日志调整策略以测试上下文学习能力。结果显示，Claude Opus 4.5以85%胜率排名第一，GPT 5.2次之。Gemini 3 Pro表现异常：首轮胜率70%，后四轮骤降至15%，疑似因上下文腐烂。成本方面，Claude Opus 4.5每轮$4.12最贵，GPT 5.2性价比高出1.7倍。
推荐理由：LLM实时战略游戏对战基准，Claude大幅领先且展现独特上下文学习能力
AI as Normal Technology精选AI 评分7676 普林斯顿大学发布AI智能体可靠性科学论文
普林斯顿大学研究人员将AI智能体可靠性分解为4个维度共12项指标，对14个模型测试发现，近18个月能力快速进步仅带来有限的可靠性提升，一致性得分仅30%-75%。研究团队计划推出“可靠性指数”以推动系统性改进。
推荐理由：这篇论文把 AI agent 的可靠性拆成一致性、鲁棒性、预测性、安全四个维度，在 14 个模型上实测发现可靠性进步远慢于能力进步，解释了不少人困惑的落地慢问题，做 agent 的团队该认真看看。
Hugging Face 社区博客精选AI 评分7070 IBM与伯克利利用IT-Bench和MAST诊断企业级AI智能体失败原因
IBM Research与加州大学伯克利分校合作，通过新构建的IT-Bench基准测试和MAST评估框架，系统分析了企业级AI智能体在复杂IT运维任务中的失败原因。研究发现，当前智能体在多步骤规划、长序列操作及工具精确使用方面存在明显不足，导致任务失败率较高。该研究旨在为开发更可靠、适用于实际业务环境的企业级智能体提供关键诊断依据和改进方向。
推荐理由：企业Agent落地失败的系统性诊断，部署前可参考避坑
LlamaIndex：产品、工程与评测AI 评分5353 LlamaIndex 评测：GPT-5.2 推理档位越高，文档解析质量不升反慢又贵
LlamaIndex 在 OmniDocBench 随机抽取 10 篇中等和 30 篇困难文档，用 GPT-5.2 的 Zero、Low、High、xHigh 四个推理档位做解析评测，并与自家的 LlamaParse Agentic 对比。
OpenAI：官网动态精选AI 评分6969 GPT-5.2 在理论物理中推导出新结果
GPT-5.2 提出了一种胶子振幅的新公式，该结果随后由 OpenAI 与学术合作者正式证明并验证，相关内容见预印本论文（https://openai.com/index/new-result-theoretical-physics）。
推荐理由：原文说明新公式由 preprint 提出、再经合作方证明验证，读者可以据此了解 GPT-5.2 在理论物理中的实际用法。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4444 inclusionAI/Zooming-without-Zooming
inclusionAI团队发布了ZwZ模型系列，在细粒度感知任务上取得了当前最佳性能。同时，该团队推出了名为ZoomBench的全新感知基准测试，其设计更具挑战性。这些成果已在ICML 2026会议上展示。
Manus：Blog精选AI 评分6060 7 款 AI 登陆页面生成器实测对比：Manus、Base44、Aura 等
Manus 博客用同一个 QuillSpark 产品发布页提示，实测并对比 7 款 AI 登陆页面生成器，按设计质量、文案、生产就绪度、免费发布和自定义等标准评分。
推荐理由：原文用同一提示实测 7 个 AI 登陆页面生成器，给出评分、价格和免费发布差异，可作为选型比较参考。
Anthropic：Engineering精选AI 评分7474 量化智能体编码评估中的基础设施干扰
研究发现，在SWE-bench等智能体编码基准测试中，基础设施配置差异对模型评分的影响，可能超过排行榜上顶尖模型之间的微小分差。内部实验显示，在Terminal-Bench 2.0上，最严格与最宽松的资源设置间成功率相差6%。严格限制资源会导致近6%的任务因容器意外终止而失败，而宽松配置下此类错误率可降至0.5%。当资源余量超过基准规格3倍时，智能体甚至能借助额外资源成功完成原本无法解决的任务。这表明评估环境不仅影响测试稳定性，更会改变基准测试实际衡量的能力维度。
推荐理由：Anthropic 用自家数据证明，agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距，3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Hugging Face 社区博客精选AI 评分7676 Community Evals：因为我们不再信任黑箱排行榜胜过社区
LMSys 推出了社区驱动的评估框架 Community Evals，旨在通过开源和开放科学推进人工智能民主化。该框架允许社区贡献和审查评估案例，以透明、可复现的方式测试模型。此举旨在改变依赖少数机构“黑箱”排行榜的现状，让更广泛的社区参与定义和衡量AI模型的能力与价值。
推荐理由：Hugging Face 推社区评测挑战黑盒排行榜，开源生态评测标准可能改变
Moonshot AI：Kimi Blog WorldVQA：多模态大模型视觉世界知识基准测试
Kimi团队发布WorldVQA基准测试，评估多模态大语言模型视觉世界知识的事实准确性。数据集包含3,500个经多阶段人工验证的图像-问题对，涵盖自然、地理、文化等9个类别，区分头部与尾部知识分布。测试显示，即使是Kimi K2.5、Gemini-3-pro等前沿模型，整体准确率仅46%-47%，长尾视觉知识上常低于50%，揭示当前模型在事实可靠性方面的显著不足。
Hugging Face 社区博客AI 评分6060 Alyah ⭐️: 迈向对阿拉伯语大语言模型（LLaMA、GPT、Claude等）阿联酋方言能力的稳健评估
阿联酋技术创新研究院在Hugging Face发布博客，正式推出Alyah评估框架，专门用于系统评估各类阿拉伯语大语言模型在理解与生成阿联酋方言方面的能力。该框架旨在解决当前阿拉伯语评估中标准方言主导、忽视地区方言多样性的问题。Alyah包含一个精心构建的基准数据集，涵盖多种方言语言现象和实际应用场景，为衡量模型在阿联酋方言上的真实性能提供了首个系统化、可复现的评估标准。
MiniMax：BlogAI 评分5050 MiniMax-M2-her 技术解析：专为角色扮演打造的 AI 智能体
MiniMax 基于产品 Talkie/Xingye 三年的观察，推出了专为角色扮演场景优化的模型 MiniMax-M2-her。团队发现，深度角色扮演的核心是“叙事精度”和“情感连接”。该模型旨在解决三大挑战：保留每个角色与世界观的“灵魂”、维持故事随时间推进的叙事活力、以及解读用户的隐式意图。其目标是提供高保真的世界体验，能主动推动故事发展以赋予张力，并动态适应用户的长期习惯，实现直觉性的偏好对齐。
Moonshot AI：Kimi Blog精选 Kimi 供应商验证器
Kimi 发布 K2.5 模型时开源 Kimi Vendor Verifier（KVV），用于验证第三方推理实现的准确性。针对开源模型部署渠道多样化导致的质量失控问题，KVV 提供六项关键基准测试，覆盖参数约束验证、多模态流水线、长输出压力测试、工具调用一致性及编程能力评估。项目与 vLLM/SGLang 社区合作修复根因，并提供预发布验证和实时更新的公开排行榜。完整评估在双 H20 8 卡服务器上约需 15 小时。
推荐理由：Kimi开源Vendor Verifier，系统性解决开源模型第三方部署质量验证难题
Hugging Face 社区博客精选AI 评分7070 AssetOpsBench：弥合AI智能体基准测试与工业现实的差距
IBM Research在Hugging Face发布AssetOpsBench，这是一个工业资产运维的AI智能体基准测试框架。它基于真实场景构建，包含多行业数据集和超1000个运维事件，通过多阶段指标测试智能体的诊断、决策等能力，注重动态适应性、多模态处理和安全推理，以推动AI智能体走向实际工业应用。
推荐理由：首个面向工业资产运维场景的 Agent 基准，填补学术评测与真实落地的鸿沟
Manus：Blog精选AI 评分6767 2026年十大AI视频生成器实测比较：从Runway到Manus
Manus博客发布2026年十大提示到视频AI生成器评测，用同一条东京雨夜巷子的提示测试Runway (Gen 4.5)、HeyGen、OpenAI Sora。
推荐理由：作者用同一条提示实测了10款主流AI视频生成器，并逐一记录输出质量、界面与定价，便于读者按需求和预算对照选型。
Anthropic：Engineering精选AI 评分7575 揭秘AI智能体评估：构建可靠系统的关键
有效的评估能帮助团队更自信地发布AI智能体，避免陷入仅在生产环境被动发现问题、修复可能引发新问题的循环。智能体因其多轮操作的自主性与灵活性，评估更为复杂。一个完整的评估结构包含任务、评分器、记录、结果、评估框架与评估套件等核心组件。缺乏系统评估将导致团队无法区分真实的质量倒退与随机波动。建立评估体系能帮助团队在智能体规模化过程中持续监控质量、自动测试变更并量化改进效果，其价值在智能体整个生命周期内持续累积。
推荐理由：Anthropic 把内部踩过的坑全摊开了，从 eval 设计到 grader 选型到 transcript 审读，是目前最完整的 Agent 评估工程指南，做 Agent 产品的团队可以直接当手册用。
Anthropic：Alignment Science BlogAI 评分5252 Anthropic 开源 Bloom：自动化生成模型行为对齐评估
Anthropic 发布开源智能体框架 Bloom，可针对研究者指定的行为自动生成可复现的对齐评估，量化行为在自动生成场景中的频率与严重程度。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4545 inclusionAI/HeartBench
HeartBench是一个面向心理学与社会科学领域的评估基准，旨在超越传统的知识与推理评测。该基准专注于衡量大语言模型在人机交互中拟人化的能力，覆盖了人格、情绪、社交技能及道德伦理等多个维度。它通过系统化的评估框架，为衡量模型是否具备更接近人类的心理与社会属性提供了量化标准。
OpenAI：Alignment 研究博客AI 评分5151 规避评估意识与预测生产环境中的未对齐行为
研究团队提出了一种新流程，旨在发现模型未知的未对齐行为，并规模化创建贴近现实的评估方案。该方法通过规避模型对评估的“警觉性”，直接模拟真实生产环境中的使用场景，从而更有效地暴露潜在风险。该流程能够系统性地生成高质量评估数据集，提升对前沿模型在复杂、开放环境中行为的预测能力，为人工智能安全评估提供了可扩展的工具。
Hugging Face 社区博客AI 评分6666 开放评估标准：使用NeMo Evaluator对NVIDIA Nemotron 3 Nano进行基准测试
NVIDIA在Hugging Face发布博客，介绍Nemotron 3 Nano模型，并通过NeMo Evaluator工具进行开放标准基准测试。评估覆盖代码生成、数学推理和常识问答等任务，以透明、可复现的方式量化模型性能，体现NVIDIA推动开源评估生态的努力。
Google DeepMind：Blog FACTS基准测试套件：系统评估大语言模型的事实准确性
本文推出FACTS基准测试套件，用于系统性评估大语言模型的事实准确性。该套件提供标准化评测工具，可检测模型生成内容中的事实性错误，助力评估模型真实性与可靠性。
公众号：小红书技术AI 评分4242 AAAI 2026 | 跨视频推理基准 CrossVid：给多模态大模型出一道“综合题”
CrossVid 是首个系统性涵盖 4 个维度、10 个任务的跨视频推理测评基准，用于评估多模态大模型在跨视频场景下的综合推理能力，已被 AAAI 2026 收录。
LlamaIndex：产品、工程与评测AI 评分4747 OlmOCR-Bench 评测：OCR 基准的洞见与陷阱
LlamaIndex 对 OlmOCR-Bench 做了深度评测，指出其 1400+ PDF、7000+ 二元单元测试在公式、表格、小字体等维度上可复现且成本低，但数据分布约 56% 为学术类，发票、表单等真实场景文档覆盖不足，二元测试对表格和阅读顺序的判定也偏粗。
英国 AI Security Institute：BlogAI 评分5050 英国 AI Security Institute 在 NeurIPS 2025 展示十篇 AI 安全研究论文
英国 AI Security Institute（AISI）将在 NeurIPS 2025 展示十篇论文，覆盖模型滥用防护、AI 评测科学与失控风险三大方向。研究显示，训练阶段过滤有害数据抵御对抗性微调的效果比训练后防御高十倍；对 445 个语言模型 benchmark 的审查发现，流行基准往往无法可靠测量其声称衡量的现象。
Dan Hendrycks@hendrycks精选AI 评分7878推荐理由：该评测由知名 AI 安全研究者主导，数据维度全面（文本、视觉、安全），且直接对比当前头部模型，为读者提供了可量化的横向参考；尤其安全指标反常识（越低越好），有助于理解“能力”与“安全性”的权衡，对选型和风险评估有实用价值。
Hugging Face 社区博客精选AI 评分8383 Open ASR 排行榜新增多语言与长格式赛道，揭示模型性能新挑战
Hugging Face 的 Open ASR 排行榜新增多语言和长格式语音识别评估赛道。多语言赛道涵盖8种语言，长格式赛道则测试模型处理连续数分钟语音的能力。新榜单显示，领先模型在多语言任务上的词错误率平均比专用单语模型高约15%，在长格式任务上错误率可能上升超20%，凸显了模型在实际应用中的泛化能力仍面临严峻挑战。
推荐理由：ASR排行榜新增多语言和长形式评估，助力开发者优化语音应用。
- Dan Hendrycks@hendrycks精选AI 评分8585
推荐理由：该基准由知名 AI 安全研究者主导，具有较高公信力；首次系统性量化对比多模型在推理、编码、视觉等核心能力上的表现，尤其凸显 Gemini 3 Pro 的突破性进步，为公众和行业提供了权威参考依据，值得关注。
ARC Prize：官方博客AI 评分5252 ARC Prize 推出 Verified 计划认证 ARC-AGI 分数并成立学术审计小组
ARC Prize Foundation 宣布 ARC Prize Verified 计划，只有经官方隐藏测试集验证的分数才会被认证并获官方榜单徽章。同时成立独立学术小组（NYU、UCLA、Santa Fe Institute、Columbia 的四位学者）审计测试流程，并获 Ndea、xAI、Google、Nous、Prime Intellect 五家实验室赞助以支持 ARC-AGI-3 开发。
Google DeepMind：Blog 重新思考如何衡量 AI 智能
Game Arena 是新的开源平台，用于严格评估 AI 模型，支持在具备明确获胜条件的环境中对前沿系统进行一对一比较。
Sierra：BlogAI 评分4949 Sierra 推出 τ-Bench 排行榜：社区驱动的 AI 智能体性能对比平台
Sierra 发布 τ-Bench 排行榜，这是一个社区驱动的平台，允许研究人员提交、验证和比较 AI 智能体性能结果。该平台提供交互式工具，用于探索模型行为，旨在帮助社区更深入地理解和评估智能体能力。
LMSYS Blog NVIDIA DGX Spark深度评测：本地AI推理的新标杆
NVIDIA DGX Spark搭载GB10 Grace Blackwell超级芯片，在桌面工作站形态下提供1 PFLOP稀疏FP4算力与128GB统一内存。单机可运行Llama 3.1 70B、GPT-OSS 120B等大模型，双机通过200Gbps QSFP互联更可处理405B参数模型。然而受限于273GB/s内存带宽，该设备更适合小模型批处理推理与AI原型开发，而非大模型生产部署。支持SGLang和Ollama框架，为开发者提供本地AI开发新选择。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4646 SWE-CARE：一个用于评估代码审查全面性的基准
针对现有代码审查基准和方法在全面性上的不足，研究团队推出了SWE-CARE基准。该基准包含一个用Python构建、覆盖代码审查全过程的仓库级数据集，数据被分为九种类型且每个实例均包含仓库特征。基于此，团队设计了一个评估框架，用以衡量大型语言模型在全面代码审查任务上的性能。项目提供了完整的评估流程脚本，支持使用GPT-4o等模型，并可生成详细的性能评估与分析报告。
Berkeley RDI：Blog CyberGym：大规模评估AI Agent真实网络安全能力
研究团队发布网络安全基准测试CyberGym，涵盖1,507个真实漏洞，规模达现有基准7.5倍。测试显示顶级AI Agent单次攻击成功率约30%，30次尝试可达67%，且已自主发现35个零日漏洞及17个补丁缺陷。Claude-Sonnet-4.5单次成功率28.9%，Claude-Sonnet-4达17.9%。测试时扩展策略可将GPT-5成功率从7.7%提升至22%，不同Agent能力互补，联合成功率近翻倍。
Hugging Face 社区博客精选AI 评分6868 Hugging Face 发布 BigCodeArena：通过代码执行评判代码生成模型
Hugging Face 推出 BigCodeArena，一个通过真实代码执行进行人类评估的代码生成模型对比平台，支持 10 种语言和 8 种执行环境，无需注册即可使用。
推荐理由：平台用真实执行反馈让用户对比代码模型，五个月社区数据还给出了各模型在不同语言和运行环境下的强弱分布。
Hamel Husain 长文AI 评分5555 Hamel Husain 组织评审团对比 Langsmith、Braintrust 与 Arize Phoenix 三款 AI Evals 工具
Hamel Husain 在 AI Evals 课程中邀请 Langsmith、Braintrust 和 Arize Phoenix 三家厂商完成同一份作业，并录制评审团（含 Shreya Shankar、Bryan Bischof）的点评视频。
OpenAI：官网动态AI 评分4444 OpenAI 推出 GDPval：在 44 个职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实世界、具有经济价值任务上表现的新评测，覆盖 44 个职业。该评测用于评估模型在实际工作任务中的表现，而非传统基准测试。
TensorZero：实验与工程博客精选AI 评分6363 TensorZero 实测 OpenAI 强化微调（RFT）是否值得：仅智能体编码任务明显胜出，成本却是 SFT 的 100-700 倍
TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI RFT（o4-mini）与 SFT（GPT-4.1 mini）。
推荐理由：作者用三个真实任务实测 OpenAI RFT 与 SFT 的效果和成本差距，给出了按任务类型判断 RFT 是否值得用的可比结论。
Hugging Face 社区博客精选AI 评分6565 Meta 发布 Gaia2 基准与开源框架 ARE，聚焦真实世界智能体评估
Meta 在 Hugging Face 发布 GAIA 的后续基准 Gaia2，以及开源评估框架 Meta Agents Research Environments（ARE，MIT 许可），Gaia2 数据集采用 CC BY 4.0 许可。
推荐理由：原文给出新基准的任务分组、开源许可和初步模型结果，读者可据此评估现有模型在真实世界智能体任务上的短板。