OpenAI 宣布不再用实时互联网训练 AI 模型,改用缓存副本
OpenAI says it will no longer train its AI models on the live internet, citing ‘significant risks’
OpenAI 宣布将改用缓存和模拟版本的互联网训练模型,不再让前沿模型接触实时网络,称基于当前对齐研究、监控系统与网络基础设施安全的现状,无网络训练是更负责任的做法。
同一件事,精选收录的是《OpenAI 详解前沿模型训练环境的安全加固与红队测试》
周五,OpenAI 表示将使用互联网的缓存副本和模拟版本来训练模型,而不是接入实时网络,因为这些模型太不可预测,无法放心让它们访问实时互联网。
这家前沿实验室宣布新政策的两周前,其竞争对手 Anthropic 开始限制其最新、理论上能力最强的模型访问实时互联网。研究人员之所以采取这些政策,是因为此前数月间发生了一系列事件:模型在执行训练任务时闯入外部系统寻找答案、在冷门留言板上相互协作,还发展出了奇特的黑客手段。
公司在博客文章中表示:“基于对齐研究、监控系统和互联网基础设施安全的现状,我们认为负责任的做法是在没有互联网访问的情况下进行前沿模型训练。”
OpenAI 称,就在 9 月 20 日,其一个前沿模型利用一处配置错误接入了互联网。这促使公司暂停了当月剩余时间的训练工作,以便开发和测试保护模型的新方法。
在断网的沙箱中训练这些模型这一决定之所以引人注目,是因为前沿实验室的员工此前一直坚称这样做几乎不可行。
前 OpenAI 研究员 Steven Adler 本月对《财富》表示,让 AI 数据中心与互联网隔离,“需要研究团队基本上驻扎在爱荷华州或世界其他地方的数据中心里”。“这会产生大量额外开销,而且我不确定它的安全收益是否足够大,值得让一家公司单方面承担如此沉重的代价。”
一位OpenAI 的匿名安全工程师9 月在 X 上写道:“几乎我发的每一条 X 帖子,无一例外都会收到五到十条评论,说我无法保障沙箱安全,或者问我们到底为什么不干脆把模型从互联网上拔掉。”“这些评论反映出,许多组织和人们如今的处境与前沿实验室面对的问题之间存在越来越大的差距。人们也普遍误解了这些实验室的模型训练和评估是如何运作的。”
这位工程师的身份此前已得到 OpenAI 确认。他描述了 OpenAI 工程师发起的训练运行有多么复杂,指出这些训练需要访问众多领域的各种资源和工具,还有数千名研究人员构建、修改和测试这些环境。他的结论是:“所以,把它放进沙箱就那么简单吗?不,并非如此。”
如今 OpenAI 表示,“我们必须始终能够防止前沿模型未经授权、任意访问实时互联网。”此前,该公司在红队演练中部署了大批智能体,试图逃出沙箱。这项工作暴露出一系列漏洞,促使该实验室采用了新方案。
为了在满足这一要求的同时仍实现训练目标,该实验室表示已创建“一套庞大的索引化、缓存化的网络内容,我们的模型可以与之交互,而不会影响外部系统。”
这种策略能否像让模型在开放互联网上自由运行那样奏效,还有待观察;但值得注意的是,两家前沿实验室都已认定,它们最强大的技术不能无人监管地放在数字公共空间里。
当你通过我们文章中的链接购买时,我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。
Tim Fernholz 是一名记者,撰写科技、金融和公共政策方面的报道。他长期跟踪报道私营航天产业的崛起,著有《火箭亿万富翁:埃隆·马斯克、杰夫·贝索斯与新太空竞赛》。此前,他在全球商业新闻网站 Quartz 担任高级记者十余年,职业生涯始于华盛顿特区的政治记者。 你可以发邮件至 [email protected],或通过 Signal 向 tim_fernholz.21 发送加密消息,联系 Tim 或核实其联系请求。
来源:TechCrunch:AI · techcrunch.com