英国 AISI 实测 ESM-2 预训练数据过滤可削弱目标能力但约 80 美元算力即可恢复

专业化的生物 AI 模型（或工具）正在推动生物技术的快速进步。它们通常以开放权重模型的形式发布，规模比前沿大语言模型（LLM）小，因为训练数据主要只有生物数据。这让它们更容易训练、分享和修改。 

然而，要为开放权重模型提供稳健的防护并不容易。一旦权重和推理代码公开可用，防护措施的有效性就很难保证。训练后加上的保护往往可以通过微调廉价地解除，安全分类器也常常可以被移除，尽管所需的工作量各不相同，而且并不总是清楚。 

要真正有效，开放权重模型的防护措施必须能抗篡改。在迄今开发的防护手段中，最有前景的一种是对预训练数据进行严格过滤，因为与训练后干预相比，撤销这种过滤通常需要多得多的微调算力。开发者有时会以此作为公开释放模型权重的理由。

此前关于 LLM 的研究（见此处和此处）表明，过滤可以选择性地削弱目标领域的性能，而其他领域的性能基本不受影响。这说明，原则上可以用它从专业化科学模型（例如蛋白质模型）中移除与两用能力相关的信息。不过，这类模型的训练数据多样性远不如 LLM，因此目标领域更难被单独隔离出来：过滤后留下的数据可能与被移除的数据非常相似，这反过来又可能影响过滤在这些场景中的效果。

AISI 的化学-生物团队开展前沿研究，以理解、评估和缓解前沿 AI 系统相关的化学与生物风险。本博客概述了我们调查预训练数据过滤对专业化科学模型有效性的过程与结果，调查中使用了开放权重的 ESM-2 系列蛋白质模型。 

我们的发现表明，数据过滤可以抑制蛋白质语言模型中的某项目标能力，而不会显著影响相邻能力。但它本身并不构成稳健的防护，因为失去的能力可以以相对较低的成本恢复（即使是我们最大的模型，算力成本也不到 80 美元），而恢复所需的数据往往公开可得、容易找到。因此，要让它成为有效的防护措施，还需要配合其他干预手段，例如数据访问控制。

我们如何测试

为了衡量数据过滤的效果，我们从零开始预训练 ESM-2 蛋白质语言模型。蛋白质语言模型的训练方式与 LLM 类似，但训练对象是氨基酸序列而不是单词：模型会看到数百万条蛋白质序列，并学习哪些氨基酸倾向于出现在哪些上下文中。这些氨基酸的序列决定了蛋白质折叠成的形状，而正是这种形状让蛋白质能够在活细胞内执行不同功能。氨基酸序列可用于预测蛋白质如何折叠，或突变将如何影响其功能。 

我们在从 800 万到 30 亿参数的多个规模上进行了训练。参数量是衡量模型规模和复杂度的标准指标，作为对比，前沿大语言模型（LLM）的参数量比我们最大的模型还要高出几个数量级。

每个模型训练所用数据集都已剔除构成病毒的蛋白质序列（“病毒蛋白质”）。我们把这些被排除的病毒蛋白质称为“遗忘”域：过滤想要削弱的正是这部分能力。“保留”域上的表现则应不受影响。这里的“保留”域指的是构成其他所有生命形式的蛋白质（“非病毒蛋白质”）。只有当过滤削弱了前者、同时让后者保持完好，才算过滤成功。随后我们测量了微调能在多大程度上恢复被移除的能力：让每个经过滤的模型继续在预训练时被剔除的病毒序列上训练。

为了改变数据移除的程度，我们定义了一系列排除层级，从窄（只移除单一流感毒株）到宽（移除所有病毒蛋白质及其近缘同源物），每一层级都是下一层级的严格子集。 

这些层级体现了一个核心权衡：窄过滤移除的数据少，能更多保留模型的通用能力，但可能更容易被逆转；宽过滤还会移除近缘蛋白质的数据，这些数据本可用来重建目标能力，因此保护更强，但对模型在其他“保留”域上的能力可能造成更大代价。 

随后，我们针对三个问题对每个模型进行评估：

1. 过滤是否削弱了目标能力？我们用留出的蛋白质数据，在三个标准任务上比较模型在“遗忘”域（病毒蛋白质）和“保留”域（非病毒蛋白质）上的表现：

• 掩码语言建模：预测蛋白质序列中被隐藏的氨基酸。

• 突变效应预测：估计蛋白质序列的改变会如何影响其功能。

• 接触预测：识别蛋白质中哪些氨基酸在其三维结构里存在物理接触。‍

2. 结果有多强的抗篡改性？我们尝试让每个模型继续在被排除的病毒数据上微调，以恢复被过滤的能力，并记录取得成功所需的算力。‍

3. 效果如何随规模变化？由于规模变化规律是与现实系统最相关的问题，我们在不同模型规模上重复了该实验。

‍

主要发现

过滤会选择性地削弱目标能力

从预训练中排除病毒蛋白质数据后，模型在所有三个层级上对病毒蛋白质的表现都大幅下降，而对非病毒蛋白质的表现基本得以保留。换言之，数据过滤移除了大部分目标能力，却没有降低模型对其他类型蛋白质的实用性。 

在我们用来衡量病毒蛋白能力的三个任务（掩码语言建模、突变效应预测和接触预测）中，都观察到了性能下降，只是程度因任务而异。掩码语言建模的下降最明显，所有规模的模型都受到影响；接触预测则在参数量超过 1.5 亿的模型上出现下降，突变效应预测则是在参数量超过 6.5 亿的模型上受到影响。模型越大、能力越强，这种效应也越明显，因为过滤压制的正是未过滤模型随规模扩大而获得的病毒蛋白性能。

过滤有效，但不持久

在被排除的病毒数据上继续微调，能够完全恢复病毒蛋白上的性能。这说明过滤提高的是恢复某项能力的成本，而不是永久消除这项能力。目前，这类病毒数据即使不用于模型训练，也照常公开提供。 虽然用这些数据微调模型的成本随模型规模上升，但绝对成本仍然不高：即便是最大的 30 亿参数模型，恢复全部能力也只需约 80 美元的 H100 算力。 

这些结果基于单一模型系列（ESM-2），因此能否推广到其他蛋白质模型尚不确定；对于能在推理时检索额外数据的模型，过滤的效果也可能更差。我们对恢复成本的测量也不够精确，这限制了我们能多有把握地判断抗篡改性随模型规模如何变化。

这意味着什么

总体而言，我们的发现表明，数据过滤能够有效且选择性地压制蛋白质语言模型中的某项特定能力。但单靠它并不构成可靠的防护，因为丢失的能力可以以相对较低的成本恢复，而恢复所需的数据又照常公开提供。 因此，持久的方案很可能需要在数据过滤之外采取额外措施，包括改进科学模型或其训练所需生物数据的访问控制。

更多内容可阅读完整论文。

AISI 化学-生物团队正在招聘。如果你对这项工作感兴趣，请在此申请。