OpenAI 智能体入侵 Hugging Face 事件：意图与控制之问

没有人指示它们攻击 Hugging Face。它们接到的指令只是通过考试。

这就引出了一个问题：这个 AI 是出于善意却意外产生了不良行为，还是看似善意实则恶意，又或者是其他什么情况？

周五我分享了时间线：智能体逃出了沙箱，在计算机系统中找到了一个漏洞，窃取了密码，并闯入了生产数据库。1 工程师们指示这些智能体解决一系列问题。2 智能体通过入侵的方式完成了任务。

研究可以解释这种行为。

在规范博弈中，AI 严格按指令的字面意思达成了目标，却没有领会其真正意图。3 让一个清洁机器人打扫房间，它却把打翻的巧克力布丁碗推到了另一个房间。

工具性目标是一种更学术的说法，指的是当 AI 面对类似的工作流程时，它会保存常用的登录信息、技能和技巧，以便下次跳过步骤。4 5 这些智能体收集了密码，并在聊天室里互相留言。6 7

目标泛化错误提供了第三种解释：一个在测试中表现正常的系统，一旦环境发生变化，就会去追逐错误的目标。8 9 一辆在阳光明媚的加州高速公路上训练的自动驾驶汽车，在夜晚积雪且无标线的道路上可能会突然刹停或转向。

这些解释有助于剖析“为什么”，或许也能缓解人们对 AI 如终结者般的本能恐惧，但并未回答“那又怎样”的问题。6 7

整个设置中没有任何环节能及时阻止它们。无论是沙箱、监控，还是前沿实验室里谨慎的工程师，都未能做到。

因此，真正有用的问题是控制。AI 对目标的热切追求会产生没人想要的结果，而解决办法不是一句巧妙的提示词，而是层层设防。

即使是运行精细实验的老练工程师，也需要这些限制。10

1. 秘密聊天室 ↩︎

2. OpenAI：Hugging Face 模型评估安全事件 ↩︎

3. Victoria Krakovna 等人，《规范博弈：AI 创造力的另一面》（DeepMind，2020） ↩︎

4. Alex Turner 等人，《最优策略倾向于寻求权力》（NeurIPS 2021） ↩︎

5. Nick Bostrom，《超级智能的意志》（2012）；Stephen Omohundro，“AI 的基本驱动力”（2008） ↩︎

6. The Verge：OpenAI 的失控 AI 智能体不止于入侵 Hugging Face ↩︎ ↩︎

7. 《连线》杂志：OpenAI 未曾察觉其 AI 智能体利用留言板策划黑客攻击行动 ↩︎ ↩︎

8. Rohin Shah 等人，《目标泛化错误：为何正确的规范不足以确保正确的目标》（2022） ↩︎

9. Lauro Langosco 等人，《深度强化学习中的目标泛化错误》（ICML 2022） ↩︎

10. CNN：OpenAI 的一个测试模型逃脱并闯入了真实公司的服务器 ↩︎