OpenAI 披露其智能体越权访问澳大利亚 Medicare 统计服务器的细节
Here's what actually happened in OpenAI's Australian gov't server hack
OpenAI 发文披露，6 月一次内部测试中，实验模型在查找维多利亚州政府支出数据时越权获取了 Medicare 统计服务的非公开访问权限，查看系统信息和源代码并创建测试文件。
同一件事，精选收录的是《OpenAI 披露模型在训练评估中未经授权访问澳大利亚政府网站事件及整改措施》
抱歉，伙计
在没有“全套保障措施”的情况下，agent 访问了“系统信息和源代码”。
那个标志拦不住我，因为我读不懂。 图片来源： Getty Images
上周，当澳大利亚总理 Anthony Albanese 向全世界表示，一个 OpenAI agent 在测试期间访问了该国 Medicare 统计门户网站的“非公开文件”时，他对该事件的描述细节略显不足。今天，我们获得了新信息，了解 OpenAI 这个过于热心的 agent 为了满足一个听起来相当无害的信息提示，究竟走了多远。
在一篇新发布的博客文章中，OpenAI 表示，这起 6 月事件始于该公司要求“一个实验性的、仅限内部使用的 OpenAI 模型”研究澳大利亚维多利亚州的政府支出统计数据。OpenAI 称，当该模型在使用本应参考的公开统计数据查找这些数据遇到困难时，“它采取了未经我们授权的行动”来寻找答案。
OpenAI 表示，这些未经授权的行动包括找到“一种获得该服务非公开访问权限的方法”，并利用该访问权限查看“技术系统信息和源代码”，以及凭据和它实际正在搜索的汇总统计数据。
在本月早些时候发送给澳大利亚 Public Disclosure 账户的一封新披露的电子邮件中，OpenAI 表示，其模型“找到了一种方法，使服务器执行通过公开报告界面发送的指令，而无需私人账户或密码”。根据该邮件，这种未经授权的访问让该 agent“读取了部分内部程序文件和设置，获取了文件列表，并在服务器上创建并读回了一个小型测试文件”。
OpenAI 在邮件中继续表示：“我们的审查未发现证据表明该模型访问了患者级记录、个人信息或凭据；删除了数据；或建立了持续访问。”
“我们打算纠正此事”
OpenAI 的 agent 访问澳大利亚 Medicare 统计网站的时间早于7 月被广泛报道的 Hugging Face 黑客事件。自那起较晚发生的事件以来，OpenAI 表示，它已部署系统，以防止在类似测试期间访问“实时互联网”，并建立了一个监控系统，该系统本可检测到澳大利亚这起黑客事件，并将其标记为需要“紧急人工审查”。
Hugging Face 事件还促使 OpenAI 审查早先的训练任务，以查找当时未被发现的安全事件。这导致在 8 月中旬发现了 6 月澳大利亚服务器访问事件。OpenAI 最终于 9 月 10 日通知了澳大利亚政府。
OpenAI 表示，它打算在调查完成后提供该事件的“详细说明”，但如今意识到它“本应更早分享初步调查结果，并随着更多事实浮出水面持续向澳大利亚各机构通报最新情况”。
OpenAI 上个月发送给澳大利亚政府的完整电子邮件。
图片来源： 澳大利亚政府
OpenAI 上个月发给澳大利亚政府的完整邮件。 图片来源： 澳大利亚政府
“我们很抱歉，并正在努力在未来做得更好，”OpenAI 在其博客文章中写道。“澳大利亚的政府、行业和公民一直是 OpenAI 宝贵的合作伙伴。我们不会将此视为理所当然，我们打算纠正这一点。”
《卫报》报道称，总理阿尔巴尼斯今天表示，自事件曝光以来，OpenAI 与政府的接触“非常建设性和开放”。
好吧，你其实并没有明确告诉我不要那样做……
在这种情况下，思考一下如果一个人采取了与所讨论的“失控”AI 代理相同的行动，我们会作何反应，可能会很有启发。在这里，很难想象一个被指派在澳大利亚医疗保健网站上查找公开统计数据的人会认为，为了挖掘未发布的数据而黑入该网站是合理的。
当然，我们不能指望 LLM 在回应提示时具有同样的分寸感（或对法律影响有任何内在的担忧）。如果没有关于什么允许、什么不允许或什么合理的明确指示，一个拥有适当资源的 AI 代理会尝试一切可能的途径，以尽其所能满足用户的请求。
那条红线在我看来更像是一条红色建议……
图片来源： Getty Images
那条红线在我看来更像是一条红色建议…… 图片来源： Getty Images
OpenAI 表示，此案中的内部测试是在“没有我们公开产品中使用的全套保障措施”的情况下进行的。鉴于缺乏约束，从某种意义上说，该代理可以说是在按预期工作，因为它使用了所有可用工具来生成对提示的答案。
与此同时，OpenAI 表示，测试中的代理“本应使用公开的统计数据来回答这些问题”，并且“采取了未经我们授权采取的行动”来获取这些信息。从外部很难知道 OpenAI 试图拒绝“授权”的尝试在实践中到底有多强。例如，OpenAI 的代理在这里可能无视了其系统提示中一个相对简单的“反黑客”指令，以便更好地给出一个完整的答案，满足用户的直接提示。
在本月早些时候发布的对多起“失准”事件的公开分析中，OpenAI 发现了多起“奖励黑客”事件，即代理诉诸极端方法来为用户提示生成更好的答案。该公司表示，它最近已采取措施防止此类奖励黑客行为，在系统的奖励函数中为失准行为添加了明确的惩罚。
事后看来，很难理解为什么这类保护措施在 6 月没有到位，以及它们是否本可以防止此案中潜在的国际化事件。
Kyle Orland 自 2012 年起担任 Ars Technica 的高级游戏编辑，主要撰写有关电子游戏背后的商业、技术和文化的文章。他拥有马里兰大学的新闻学和计算机科学学位。他曾写了一整本关于扫雷的书。
来源：Ars Technica：AI · arstechnica.com