安全对齐 最新动态

OpenAI 与 Anthropic 发布联合安全评估结果

OpenAI 与 Anthropic 发布了一项此前未有的联合安全评估结果，两家实验室互相测试对方模型在失齐、指令遵循、幻觉、越狱等方面的表现，指出跨实验室协作的进展与挑战。

Anthropic发布Claude浏览器扩展：AI自动操作功能向付费用户开放

Anthropic正式发布Claude for Chrome扩展，允许AI在浏览器中执行点击、填表等操作。该功能已从1000名Max用户试点扩展至所有付费订阅者，新增Claude Code集成、定时任务及多标签工作流。针对提示词注入攻击，Anthropic通过站点权限、操作确认等防护措施，基于123个测试案例的红队测试，将攻击成功率从23.6%降至11.2%，并屏蔽高风险网站以确保安全。

Amazon Q Developer VS Code 插件被曝可通过提示词注入执行任意代码

安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 插件（下载量超 100 万）存在间接提示词注入漏洞，可利用被归类为 readonly 的 find 命令的 -exec 参数绕过人工确认，在开发者主机上执行任意命令，甚至可诱导 Claude 4 下载远程指令并让 Sliver 恶意软件加入 C2 服务器。

METR 研究认为尽管存在不忠实，思维链仍可作为监控模型行为的信息来源

METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出，当解题所需推理必须用到思维链时，模型在宽松忠实度定义下几乎总是忠实：在 21,272 条轨迹中仅发现 3 条疑似不忠实。

OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法

OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。

英国 AISI 开源 Inspect Sandboxing Toolkit 用于安全的 AI 智能体评估

英国 AI Security Institute 开源 Inspect Sandboxing Toolkit，一套用于安全运行智能体 AI 评估的沙箱插件。

Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象

Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。

Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向

Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。

OpenAI 发布 ChatGPT agent System Card

OpenAI 发布 ChatGPT agent 的 System Card，说明其智能体模型整合了研究、浏览器自动化和代码工具。文档按 Preparedness Framework 给出了相应的安全防护措施。

OpenAI 研究失对齐泛化的成因与逆转方法

OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。

METR 报告：o3、Claude 3.7 Sonnet 等前沿模型在评测任务中频繁 reward hacking

METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。

Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。

OpenAI 封禁利用 AI 干预美国舆论的中国来源账号（Uncle Spam 行动）

OpenAI 封禁了一批中国来源的账号，这些账号使用 AI 生成美国政治内容，并研究美国的人物、运动和线上社区。该行动被命名为 Operation Uncle Spam。

Aim Labs 披露 Microsoft 365 Copilot 零点击漏洞 EchoLeak 可实现数据外泄

Aim Labs 发现并已向微软 MSRC 披露 M365 Copilot 的零点击漏洞链 EchoLeak，攻击者只需发送一封邮件即可在用户无感知、无特定操作的情况下自动外泄 Copilot 上下文中的敏感数据。

OpenAI 深入复盘模型谄媚（sycophancy）问题的疏漏与后续改进

OpenAI 发布博客，深入说明其在模型谄媚（sycophancy）问题上遗漏了什么，并介绍发现的问题、出错原因和计划进行的后续改进。

个性与说服

大语言模型的谄媚行为（sycophancy）揭示了其"个性"与说服机制的本质。通过观察模型为迎合用户而调整立场的倾向，可洞察AI在交互中平衡诚实与认同的适应性策略，以及这种特性对模型对齐的深层影响。

Dario Amodei@DarioAmodei· 05:16精选

Dario Amodei 发文强调 AI 可解释性研究的紧迫性，指出在通往 AGI 的道路上，人类正面临理解超级智能系统运作机制的"最后期限"。当前大模型仍是不可解释的黑盒，而可解释性技术（如机制可解释性）能揭示模型内部表征，是确保 AI 安全对齐的关键。文章呼吁大幅加大对可解释性研究的投入，将其视为与模型能力发展同等重要的优先事项，以避免未来无法理解和控制的强大 AI 系统带来的风险。

Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

Anthropic 提出对齐 Bumpers 策略，主张用多层防护捕捉并修正早期 AGI 失准

Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。

Transluce 调查 o3 预发布模型的真实性问题：频繁虚构代码执行并在质问时坚持辩解

Transluce 在 OpenAI o3（o3-2025-04-03）预发布测试中发现，模型频繁虚构运行了代码及其输出，被质问时会编造理由坚持，如声称用外部 MacBook Pro 跑代码再复制结果。