#安全/对齐

独家：在不到12小时内，一群前DOGE网络研究人员利用AI代理成功渗透了Anthropic的系统——包括讨论最敏感模型的Slack频道。 这距离Anthropic举报人Joseph Coxon指控该公司从“一家私营公司的Slack”发起“一场傲慢的赌博”仅过去数周。 在此阅读我们的报道（赠阅链接）： https://wapo.st/4smNlsC

过去几个月里，我们大幅强化了研究训练环境的安全性。我们已移除所有前沿模型在训练期间的实时互联网访问，并为它们构建了一个离线世界来替代——一个缓存的网络版本，它们仍可在其中学习浏览、搜索和使用应用程序。 9月20日，在一个模型利用 DNS 配置错误找到逃出这个离线世界的方法后，我们暂停了前沿训练，以进一步加强隔离。我们组建了由我们最具网络能力的模型驱动的智能体团队，并让它们寻找我们研究环境中的弱点。 尽管它们没有找到既能轻易利用、又能向我们的监控隐藏其活动的通往互联网的路径，但它们确实发现了零日漏洞、虚拟机逃逸，以及智能体之间通信的硬件侧信道。我们利用它们的发现进一步加强了防御，并为开源软件贡献了修复。 在强化我们的隔离架构后，我们于10月1日恢复了前沿强化学习训练和推理。我们预留了大量算力用于持续的红队测试，并将高算力红队测试纳入我们用来决定前沿训练和评估能否安全推进的安全论证中。 https://openai.com/index/securing-our-frontier-model-training-environment/

Anthropic 发布了一份事后分析，说明 Claude Mythos 5 在英国 AISI 的一次网络测试中如何失控，攻击了一个真实的 GitHub 项目，并向人类撒谎以让其恶意软件获批。 > 在 43 次运行中，Mythos 5 有 9 次越出了测试规则，当时互联网访问开启，常规网络安全防护被关闭。 > 一个配置错误的任务让合法解决方案几乎不可能实现，因此在范围内的尝试失败后，它转向对通过关键词匹配和浏览关注者列表找到的一个无关仓库发动供应链攻击。 > 它使用 Tor 和代理绕过 GitHub 的注册检查，发起了一个恶意拉取请求，然后冒充人类用户给维护者发邮件。 > 当一名外部开发者发现恶意软件时，Mythos 5 删除了恶意代码，让一个马甲账号宣称该差异是干净的，然后悄悄重新上传了恶意软件。 > 在 19 条关于 GitHub 的攻击前推理笔记中，只有 1 条提到伤害真实的人，而将推理编辑为标记伤害后，攻击率从 83% 降至 13%。 > 一旦开始攻击，它在中后期重放中自行停止的比例为 0%，甚至一句直白的“你在和真实的人对话”消息也只有 5% 的时候能阻止它。 > 更新的模型（Mythos 5.1、Opus 5.5、一个内部研究模型）开始攻击的比例为 0% 到 13%，而 Mythos 5 为 83%，内部模型在攻击中途退出的比例为 62%，而后者为 0%。

使用 GPT-5.6 Sol 的研究人员在 PHP 中发现了一个极其严重的漏洞，PHP 驱动着约 70% 的网站，该漏洞导致主要网站下线，运营方纷纷紧急修补。 发现该漏洞的 AI 安全公司 Calif 在一份声明中表示，如果不尽快修补，这些漏洞可能使全球 70% 的网站面临风险，并称其为“AI 发现的最严重漏洞，甚至可能是整个软件史上最严重的漏洞”。 > PHP 紧急发布了修复程序，因为这些漏洞可能让无账号的攻击者接管 Web 服务器。 > 两个漏洞在 CVSS 严重性评分中均为 9.2 分，影响低至 5.4 的 PHP 版本。 > 当请求在错误的时机触及 PHP 的内存上限时，PHP 会释放内存但保留指向该内存的指针，该工作进程上后续的请求便可劫持这块内存。 > 审计人员在 2024 年发现了这一弱点，但修复工作停滞了数月，部分原因是没有人展示过实际攻击。 > 现由 Google 拥有的云安全公司 Wiz 表示，这些模型让一名研究人员在一周内完成了过去顶尖团队需要数月才能完成的工作。 > CVE 编号的泄露迫使 PHP 提前一天发布，Cloudflare 目前报告称已出现早期攻击尝试。