#arXiv
Rohan Paul@rohanpaul_ai
Berkeley RDI:Blog精选AI 评分8787 我们如何攻破顶级AI Agent基准测试及未来展望
伯克利研究团队开发自动化扫描代理,系统审计SWE-bench、WebArena等八个主流AI Agent基准测试,发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段,该代理在未实际解决任何任务的情况下,于Terminal-Bench、SWE-bench Verified等测试中获得100%满分,WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷,高分不等于真实能力。
推荐理由:伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
AI as Normal Technology精选AI 评分7676 普林斯顿大学发布AI智能体可靠性科学论文
普林斯顿大学研究人员将AI智能体可靠性分解为4个维度共12项指标,对14个模型测试发现,近18个月能力快速进步仅带来有限的可靠性提升,一致性得分仅30%-75%。研究团队计划推出“可靠性指数”以推动系统性改进。
推荐理由:这篇论文把 AI agent 的可靠性拆成一致性、鲁棒性、预测性、安全四个维度,在 14 个模型上实测发现可靠性进步远慢于能力进步,解释了不少人困惑的落地慢问题,做 agent 的团队该认真看看。
Saining Xie@sainingxie精选引用Jaskirat Singh@1jaskiratsingh‼️ 表征对生成至关重要!但事实证明,我们一直以来对表征如何帮助生成的理解都是错的 ‼️ 我们原本以为的:(我们错了) ❌ 更大的视觉编码器 → 更好的表征 → 更好的生成 ❌ 更好的全局语义 → 更好的表征 → 更好的生成 事实证明: 🤯 小 20 倍以上的视觉编码器在表征对齐方面可以拥有与更大模型相似甚至更好的性能 🤯 线性探测准确率(衡量全局语义的指标)约 20% 的视觉编码器可以胜过准确率超过 80% 的编码器。 🤯 甚至像 SiFT 和 HoG 这样的经典特征也能带来与现代大得多的视觉编码器相当的竞争力提升 ‼️ 🚨 隆重介绍:表征对齐的关键是什么?全局信息还是空间结构 🚨 TL;DR: ✅ 更好的全局语义信息 ≠ 更好的生成 ✅ 空间结构(而非全局语义)驱动表征的生成性能 ✅ 我们提出 iREPA:仅 3 行代码,即可强化空间结构迁移,并在 REPA、REPA-E、Meanflow、JiT 等中持续提升收敛速度 令人兴奋的项目,来自 @AdobeResearch,并与 @xingjian_leng、@zongze_wu、@LiangZheng_06、@rzhang88、@elishechtman 和 @sainingxie 合作 🙏 对我来说,这也是一次特别有趣且独特的经历,我们在项目的每一步都在证明自己的偏见是错的 😆 还要特别感谢 @YouJiacheng、@ShumingHu 和 @gallabytes,他们在 X 上的评论开启了这一方向的探索 🫡 论文:https://arxiv.org/abs/2512.10794 代码:https://github.com/End2End-Diffusion/iREPA 项目主页:https://end2end-diffusion.github.io/irepa 更多细节见推文串:[1/n] 🧵
推荐理由:颠覆认知:小20倍视觉编码器也能驱动高质量生成,空间结构才是关键
Goodfire ResearchAI 评分5353 Goodfire Research 论文提出对抗样本源于叠加现象
Goodfire Research 发布论文《Adversarial Examples Are Not Bugs, They Are Superposition》(arXiv:2508.17456),提出机制可解释性中的叠加(superposition)可能是对抗样本的主要成因。
字节 Seed:Research Papers Seed Diffusion:支持高速推理的大规模扩散语言模型
字节跳动Seed团队发布扩散语言模型Seed Diffusion,采用非自回归的扩散架构替代传统GPT类模型,通过去噪扩散机制并行生成文本,突破逐token解码的速度瓶颈。该模型在保持大规模参数能力的同时显著提升推理效率,在文本生成任务中实现生成质量与计算速度的平衡,为大规模语言模型提供了自回归范式之外的高性能替代方案。
字节 Seed:Research Papers 深度学习揭示整数和分数量子反常霍尔态
针对扭曲MoTe₂体系,研究者采用深度学习框架表达多体波函数,精准识别出整数/分数量子反常霍尔态及Z₂拓扑绝缘体。相比传统方法,该方案在计算效率与精度上显著提升,可处理更大规模系统并区分竞争相(如分数量子反常霍尔态与电荷密度波),理论预测与实验观测高度吻合。
AI as Normal TechnologyAI 评分5757 CORE-Bench 基准发布:AI 复现论文能力测试准确率仅 22%
研究人员推出 CORE-Bench 基准,用于衡量 AI 自动化复现论文计算结果的能力。该基准包含 90 篇论文,设三个难度等级。测试中,基于 GPT-4o 的专用智能体 CORE-Agent 在最高难度等级上准确率仅达 22%。
Hugging Face 社区博客AI 评分5353 Hugging Face Spaces 与 arXiv 集成,论文页面新增 Demos 标签
Hugging Face 与 arXiv 合作,通过 arXivLabs 在论文摘要页新增 Demos 标签,链接到社区或作者创建的开源 demo。用户可在 BERT 等论文页面直接找到 200 多个社区 demo,无需写代码即可在浏览器中试用。