欢迎进入AI治理的AGI时代

美国行政部门强制 Anthropic 关闭其最新 Claude 5 Mythos/Fable 模型的访问权限（包括内部和外部），这标志着人工智能治理新时代的发令枪已经打响。这是一个定义 AI 智能体的时代，这些智能体能够有效辅助人类工作者，解锁新的工作方式以及现有工具的新应用领域。模型将以极快的速度持续改进，从而带来更多的治理挑战。

前沿领域的不稳定平衡

上周五，就在市场收盘后，政府联系了 Anthropic，强制其暂停向任何外国公民或海外用户提供模型访问权限。在撰写本文时，这一事件仍在持续发酵。Anthropic 和政府很可能会达成协议，重新发布该模型，但这仍是一个混乱的信号，预示着新型 AI 治理的到来。白宫是通过 Anthropic 最大的金融和技术合作伙伴亚马逊得知这一风险的。

这些动态非常复杂，虽然情况尚不完全明朗，但我只会就这一事件中可能具有持久影响力的观点发表评论：

对任何模型权重的出口禁令，对美国来说都将是一项持久的负面政策。这同时适用于开源和闭源模型，尽管开源模型更有可能很快被列入进口禁令。
关于 Fable 模型被越狱的问题，确实存在合理的网络安全担忧，即使这种担忧的范围非常狭窄。我个人认为这不应该引发这一系列事件，因为没有任何模型能完全免疫越狱攻击，我们需要为这样一个世界做好准备：在未来几年内，全球每个实体都将能够访问这种能力水平的模型。
Anthropic 在过去几年中持续不断的危言耸听加速了这一时刻的到来。如果没有那些将 AI 比作核武器等持续不断的宣传，我怀疑这种治理方式可能还要再过 6 到 12 个月（按 AI 进步的速度）才会显现。Anthropic 在某种程度上是自食其果。
人们不应该为我们国家领先的 AI 公司屡次遭受潜在的政治攻击而沾沾自喜（没错，我指的就是开源社区里的那些人）。这在经济上极不稳定，并且会破坏美国体系的经济稳定性。足够的不稳定可能引发经济衰退，并戳破 AI 泡沫。
白宫禁止该模型的行为过于强硬，并且受到了针对 Anthropic 的强烈政治倾向的影响。政府的要求与目标之间存在深刻的矛盾，因为如果外国公民不能在美国使用前沿 AI 进行开发，那么国内就不会有 AI 产业。
我不清楚为什么亚马逊需要将他们掌握的信息直接提交给白宫，也不清楚这次发布与禁令之前发生了什么（网上有很多关于发布前讨论的说法），更不清楚领先科技公司与白宫之间的危机管理通常是如何进行的。这指向了 Anthropic 与政府互动时的奇怪动态，这可能是对受到政治针对的一种反应。无论原因是什么，这都是一个糟糕的动态，并为 Anthropic 在此处的参与方式蒙上了阴影。如果一家私营公司试图控制政府，政府将会更强烈地反击。我不认为 Dario 真的在参加健康静修（正如一位白宫代表所说），但我确实认为他接听电话的时间，对于电话那头的人来说，是不可接受的。我很难就这些反复变化的动态写出任何连贯的东西，但它们对于了解正在发生的事情的真相非常重要。

这幅图景非常复杂。它指向一个近期的世界，在这个世界里，模型发布由技术人才匮乏的行政部门凭感觉评判，发布的门槛被一系列带有政治判断色彩的技术评估所模糊。

这是一个已经内化我们正处于 AGI 时代的政府。他们对此还没有准备好，并且觉得必须迅速行动以弥补失去的时间。

这是一届在我们仍处于 ChatGPT 时代的人工智能治理阶段——即模型仅能回答问题的时期——上台执政的政府。他们最初的人工智能行动计划反映了这一时代，指出此前许多安全讨论更多是烟雾弹而非真正的关切，以及我们多么迫切需要开源模型来迎头赶上。总体而言，他们在此处的观点和主张对行业来说大多是可取的且有益的。

重要的是要记住，即便在 ChatGPT 治理时代，人工智能公司也常常告诉我们，这些模型存在风险，不经审慎考量绝不能发布。许多领先实验室的发言人，在模型性能出现重大跃升时，并未在言辞升级方面为自己留出足够的余地。

随着我们从答案推理转向智能体推理，我仍然认为风险被夸大了，但最新人工智能系统的真实风险与用于描述它们的语言之间的差距已经缩小。这已经惊动了领先人工智能实验室之外的一些权力结构。

进入人工智能治理的 AGI 时代，意味着全球更多主权国家开始认真对待人工智能。欧洲、中东，很可能还有中国，都意识到自己可能被前沿人工智能领域甩在后面。这种转变被开源社区视为一场胜利，因为他们看到了长期趋势：当政府可以任意裁决领先平台时，企业将希望掌控自己的智能。

理解这一时代的关键在于，Anthropic 与联邦政府之间的这些事件——看似是人工智能政策史上最重大的两件事——仅仅是对未来局势的发令枪。这是新常态，因为现有权力结构感到有必要对这项快速崛起的技术施加控制。这将是一团乱麻、充满波折，有时甚至危机四伏。

在追踪这些事件时，我心中充满一种凝视深渊的恐惧，因为我知道更多事情还在后头。要走上缓和局势的道路，帮助我们实现让强大的人工智能广泛普及、安全且廉价地遍布全球的积极愿景，需要坚定的决心。

主权AI、开源需求，以及即将到来的博弈

那些为这一系列事件而狂热庆祝的开源AI倡导者们，远未准备好迎接快速响应的AI政策聚光灯转向他们。针对开源模型采取类似激进措施的可能性很大，但我们不知道这会在3个月后还是2年后发生。