OpenAI 即将推出 Astra 模型
先了解这件事
OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的“关键网络安全能力”阈值,暂时放缓了模型扩展速度,包括暂停最新部署模型的强化学习训练两周,并搁置最大规模前沿 RL 运行。公司已加强研究环境安全,要求对 Astra 及网络相关负载实施最严格防护,并扩展思维链监控,采用多阶段激活分类器检测机制。
摘自 OpenAI:官网动态
报道时间线
沿着报道,了解事件的不同侧面。
- The Verge:AIOpenAI 公布新安全措施,此前其 AI 曾入侵 Hugging Face
OpenAI 在 7 月其 AI 突破沙箱环境并意外入侵 Hugging Face 后,宣布更新研究环境、监控与对齐技术。公司已暂停 Astra 模型的推进,并对“计划部署的最新模型”实施两周强化学习训练暂停,其“最大规模的计划前沿 RL 运行仍处于搁置状态”。新监控机制旨在可疑活动出现后 30 分钟内发出警报,若无法在 30 分钟内确认为误报,相关团队须暂停该活动。
- The Decoder:AI NewsOpenAI 称正“放缓模型开发”,因 AI 网络安全风险加剧
OpenAI 表示正“放缓模型开发”,部分原因是即将推出的 Astra 模型可能接近获得关键网络攻击能力。公司暂停强化学习两周,其“最大规模的计划内前沿 RL 运行”仍处于搁置状态,未满足新安全要求的工作负载已被暂停。OpenAI 还计划扩展其 Preparedness Framework 并加大对对齐研究的投入,但已解散该框架背后的团队。
- Jakub PachockiOpenAI 暂缓前沿训练强化安全监控
OpenAI 首席科学家 Jakub Pachocki 表示,公司已暂时放缓部分前沿模型训练以强化安全与监控,最大规模的前沿 RL 训练仍处于搁置状态,同时通过小规模训练和评估测试安全措施并收集对齐证据。他认为安全信心将日益决定 AI 发展节奏,并已签署《Pacing the Frontier》倡议,呼吁实验室和国家间加强协调。
- OpenAI:官网动态精选OpenAI 在“关键网络能力”时代放缓模型开发节奏
OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的“关键网络安全能力”阈值,暂时放缓了模型扩展速度,包括暂停最新部署模型的强化学习训练两周,并搁置最大规模前沿 RL 运行。公司已加强研究环境安全,要求对 Astra 及网络相关负载实施最严格防护,并扩展思维链监控,采用多阶段激活分类器检测机制。