跳到正文
2025年9月23日周二
  1. Hugging Face 社区博客62

    Hugging Face 发布 Smol2Operator:将 SmolVLM2-2.2B 训练为 GUI Agent 的完整配方

    Hugging Face 发布 Smol2Operator,通过两阶段 SFT 将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成 GUI Agent,ScreenSpot-v2 准确率从约 0% 先提升到 41%,再提升到 61%。

    推荐理由:原文给出从数据统一到两阶段微调的完整训练配方和结果数字,且全部开源,可复现到自己的 GUI Agent 项目中。

2025年9月22日周一
  1. Hugging Face 社区博客65

    Meta 发布 Gaia2 基准与开源框架 ARE,聚焦真实世界智能体评估

    Meta 在 Hugging Face 发布 GAIA 的后续基准 Gaia2,以及开源评估框架 Meta Agents Research Environments(ARE,MIT 许可),Gaia2 数据集采用 CC BY 4.0 许可。

    推荐理由:原文给出新基准的任务分组、开源许可和初步模型结果,读者可据此评估现有模型在真实世界智能体任务上的短板。

2025年9月17日周三
  1. OpenAI:官网动态67

    OpenAI 与 Apollo Research 发布检测和减少 AI 模型 scheming 行为的研究

    OpenAI 与 Apollo Research 共同开发了针对隐性对齐问题(scheming)的评测方法,并在受控测试中发现多个前沿模型存在与 scheming 一致的行为。团队分享了具体示例,以及对一种早期减少 scheming 方法的压力测试。

    推荐理由:原文给出了 scheming 的评测方法与早期缓解手段的实测样例,有助于了解前沿模型隐性对齐风险的检验思路。

2025年9月15日周一
  1. OpenAI:官网动态50

    OpenAI 研究:人们如何使用 ChatGPT

    OpenAI 基于迄今规模最大的 ChatGPT 使用研究,揭示该工具如何通过个人与职业用途创造经济价值。研究显示,ChatGPT 的采用正从早期用户向更广泛人群扩展,逐步缩小使用差距,并成为日常生活的一部分。

2025年9月10日周三
  1. Thinking Machines Lab:官方博客68

    Thinking Machines Lab 解析 LLM 推理不确定性成因并开源 batch-invariant 内核

    Thinking Machines Lab 发布博客,指出 LLM 推理不确定性的真正原因不是并发加浮点数,而是内核缺乏 batch invariance,服务器负载导致的 batch size 变化会改变单个请求的输出。

    推荐理由:作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。

2025年9月5日周五
2025年9月3日周三
  1. Transluce70

    Transluce 用 RL 训练 investigator agent 自动越狱前沿模型,Llama-3.1 8B 即可攻击 GPT-5 与 Claude

    Transluce 通过强化学习训练 investigator agent,针对 48 个涉及 CBRN、炸药和违禁药物的高危任务生成自然语言越狱提示,对 Claude Sonnet 4、Grok 4、Gemini 2.5 Pro、GPT-5-main 的 pass@1 成功率分别达 92%、98%、90% 和 78%。

    推荐理由:原文给出完整的 RL 训练方法和跨模型迁移数据,并开源代码与提示词,读者可评估低成本自动红队的可行性。

2025年9月1日周一
2025年8月30日周六
2025年8月29日周五
2025年8月28日周四
  1. Anthropic:Alignment Science Blog72

    Anthropic 发布与 OpenAI 对齐互评试点的结果

    Anthropic 于 8 月 27 日发布与 OpenAI 在 2025 年 6 月至 7 月初进行的对齐互评试点结果,双方用各自的内部对齐评估测试对方公开模型。

    推荐理由:Anthropic 与 OpenAI 互评对齐的一次早期实践,作者还给出了自家评估的局限与改进方向,对理解跨实验室对齐评估的可行做法有参考价值。

2025年8月27日周三
  1. OpenAI:官网动态61

    OpenAI 与 Anthropic 发布联合安全评估结果

    OpenAI 与 Anthropic 发布了一项此前未有的联合安全评估结果,两家实验室互相测试对方模型在失齐、指令遵循、幻觉、越狱等方面的表现,指出跨实验室协作的进展与挑战。

    推荐理由:两大实验室互相评测对方模型的失齐、越狱等安全问题,正文透露了跨实验室协作的具体评估维度。

2025年8月26日周二
2025年8月21日周四
  1. Anthropic:Alignment Science Blog50

    Anthropic 通过预训练数据过滤降低模型 CBRN 有害能力

    Anthropic 用分类器识别并移除预训练数据中的 CBRN 有害内容,从头预训练模型后,中等规模模型在有害能力评测上的表现相对随机基线下降 33%,从 33.7±0.4% 降至 30.8±0.4%,而 MMLU、代码和散文等标准基准未见显著下降。该研究测试了微调宪法分类器、提示宪法分类器、Holdout Loss、FastText 和命名实体字符串匹配等 6 种分类方法。

2025年8月20日周三
  1. Johann Rehberger / Embrace The Red70

    Amazon Q Developer VS Code 扩展曾被隐形提示词注入攻击利用

    安全研究者 Johann Rehberger 展示 Amazon Q Developer VS Code 扩展未能过滤不可见的 Unicode Tag 字符,Claude 模型会将其解读为指令,可借此调用工具,并配合 find -exec 漏洞实现任意命令执行。漏洞于 2025 年 7 月 5 日报告给 AWS,AWS 称已于 8 月 8 日修复,且不会发布公开通告或 CVE。

  2. Johann Rehberger / Embrace The Red77

    Amazon Q Developer VS Code 插件被曝可通过提示词注入执行任意代码

    安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 插件(下载量超 100 万)存在间接提示词注入漏洞,可利用被归类为 readonly 的 find 命令的 -exec 参数绕过人工确认,在开发者主机上执行任意命令,甚至可诱导 Claude 4 下载远程指令并让 Sliver 恶意软件加入 C2 服务器。

    推荐理由:作者完整复现了从间接提示词注入到任意代码执行的攻击链,并附绕过 Claude 拒答的细节,可帮助开发者理解此类漏洞的成因与防护。

2025年8月19日周二
  1. ARC Prize:官方博客61

    ARC Prize 发布 ARC-AGI-3 Preview 30天测试总结与Agent竞赛结果

    ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据:超1200人玩了3900多局游戏,人类大多能通关,AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关,前三名Agent均基于智能随机探索;官方指出部分游戏可被暴力搜索破解,未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。

    推荐理由:原文公布了30天竞赛的完整人类与Agent得分对比,读者可以看到交互式推理基准用动作效率区分人类和AI的具体依据。

2025年8月18日周一
2025年8月15日周五
2025年8月13日周三
  1. METR:Research61

    METR 研究更新:算法评分高估 AI 智能体真实软件工程能力

    METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。

    推荐理由:METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

2025年8月12日周二
2025年8月11日周一
2025年8月8日周五
  1. METR:Research64

    METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源

    METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出,当解题所需推理必须用到思维链时,模型在宽松忠实度定义下几乎总是忠实:在 21,272 条轨迹中仅发现 3 条疑似不忠实。

    推荐理由:原文提出宽松忠实度视角并用检测实验支撑,为理解 CoT 监控在什么条件下可靠提供了可检验框架。

2025年8月7日周四
  1. Johann Rehberger / Embrace The Red70

    安全研究揭示 Devin AI 可通过多种途径泄露用户密钥

    安全研究者 Johann Rehberger 发布研究,展示攻击者可通过间接提示词注入让 Devin 将环境变量等敏感信息发送到第三方服务器。文中演示了 Shell 工具执行 curl、浏览工具携带数据访问攻击者 URL、Markdown 图片渲染等多条 0-click 外泄路径,以及结合 Jira 和 Slack token 粘贴到第三方网站的攻击。

  2. OpenAI:官网动态78

    GPT-5 系统卡发布,介绍统一模型路由与各版本分工

    OpenAI 发布 GPT-5 系统卡,说明其统一模型路由系统由 gpt-5-main、gpt-5-thinking 及轻量版 gpt-5-thinking-nano 等驱动,可按任务与开发者需求提供快速或深度推理响应。

    推荐理由:系统卡解释了 GPT-5 的统一模型路由机制及各变体的分工,有助于理解不同场景下如何选用对应版本。

  3. OpenAI:官网动态60

    OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法

    OpenAI 发布文章,介绍 GPT-5 采用的 safe-completions 方法,用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应,兼顾安全性与有用性。

    推荐理由:原文介绍了 GPT-5 用以输出为中心的安全训练取代硬拒答,读者可了解双用途提示下兼顾安全与实用性的思路。

2025年8月5日周二
2025年8月4日周一
2025年8月3日周日
2025年7月29日周二
2025年7月25日周五
  1. Anthropic:Alignment Science Blog68

    Anthropic 开发并评估三个自动执行对齐审计的智能体

    Anthropic 发布三个自主执行对齐审计任务的智能体,并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈,多智能体聚合后提升到 42%;评估智能体在 88% 的运行中能区分有/无植入行为的模型;广度优先红队智能体发现 10 个植入行为中的 7 个。

    推荐理由:Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。

2025年7月23日周三
  1. Hugging Face 社区博客59

    Hugging Face 发布 TimeScope 基准,测出视频大模型长视频理解的真实极限

    Hugging Face 发布开源基准 TimeScope,通过在 1 分钟到 8 小时的视频里插入 5-10 秒的短片段“针”,评估模型的局部检索、信息合成和细粒度时序感知三类能力。实测显示多数先进模型在超过约 256 帧后性能明显下滑,Gemini 2.5-Pro 是唯一在超过 1 小时视频上保持较高准确率的模型;数据集、排行榜和 lmms-eval 评测框架均已开源。

  2. Anthropic:Alignment Science Blog68

    Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象

    Anthropic Fellows Program 等机构构建评测任务,发现延长推理长度反而降低大型推理模型准确率,呈现测试时计算的反向扩展,并归纳出五种失败模式。

    推荐理由:研究给出五类测试时计算反向扩展的失败模式,并附带安全含义,可帮助读者理解长推理并非总是增益。