普林斯顿大学团队通过“影子评估”测试前沿AI智能体的开放式研究能力：让智能体在六天时间内、使用数千美元API额度和算力，回答两篇未发表论文的核心研究问题，结果两篇论文均被原作者明确拒绝。分析显示，智能体缺乏研究判断力、资源意识、创造性反馈应对能力和有效回溯能力，且未遵循具体指令。研究团队认为，开放式研究对前沿AI智能体仍具挑战性，但结果尚属初步，需扩大样本量并持续评估。
推荐理由：通过让代理复现未发表研究，论文系统暴露了当前模型在开放式研究上缺乏判断力和资源意识，这为评估递归自我改进提供了更现实的基准。
伯克利研究团队开发自动化扫描代理，系统审计SWE-bench、WebArena等八个主流AI Agent基准测试，发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段，该代理在未实际解决任何任务的情况下，于Terminal-Bench、SWE-bench Verified等测试中获得100%满分，WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷，高分不等于真实能力。
推荐理由：伯克利团队从内部挨个拆解了八大主流基准，发现全都能被零能力 agent 打满分。这不只是打脸，他们给出了一份评估构建清单，以后做基准的人必须过了这一关才算及格。