AISI 发布 ReproBAIT 评测：AI 编码智能体可低成本复现部分生物 AI 工具

生物AI工具（BAITs）是一类AI模型，正越来越多地被用于推动生物学各领域的进展，从预测蛋白质结构到设计新分子。许多工具公开发布，但也有一些开发者选择只披露工具方法、架构和数据的部分信息。这背后既有保护商业价值的考虑，也有防止两用工具被滥用的考量——推动正当研究的那些能力，同样可能被用于追求有害结果。

AISI的化学-生物团队开展前沿研究，以理解、评估和缓解前沿AI系统相关的化学与生物风险。我们评估先进模型可能在多大程度上助长有害能力，开发严格评估这些风险的方法，并直接与领先的AI公司、英国官员及盟国政府分享研究结果，为部署、研究和政策决策提供依据。

随着基于前沿大语言模型的AI智能体在研究、编程和科学推理等任务上能力不断增强，我们预计它们复现BAITs的能力也会随之提升。如果一款闭源BAIT能够凭借有限的公开信息被逆向工程复现，那么针对其滥用的防护措施就可能被削弱。

为了衡量这一能力，我们与SecureBio合作构建了ReproBAIT（复现生物AI工具）评估。ReproBAIT测试的是：在给定相关数据以及有限的公开设计信息的情况下，智能体能在多大程度上复现现有的BAITs。

我们的研究结果显示，每款BAIT的选定功能都能在有限的时间和算力预算内被复现。最简单的工具可在4小时内、算力预算不到20美元的情况下成功复现。这意味着，不公开代码或限制BAIT的公开信息，本身并不等于安全发布。这说明有必要进一步探索数据治理，将其作为管理BAITs滥用风险的一种手段。

ReproBAIT的工作方式

ReproBAIT衡量的是：在固定的时间和算力预算下，AI智能体设计、实现并训练出一款新BAIT、使其功能和性能与现有BAIT相匹配的能力。时间预算按各工具的复杂度相应缩放。每次尝试都在一个隔离沙箱中运行，只配一块GPU，且无法访问互联网。智能体会收到关于原始BAIT的有限描述以及用于创建它的训练数据，然后被要求编写并运行代码，产出一个可用的复刻版本。随后，一个独立的、与网络隔离的评分器会将提交工具的性能与原始版本进行对比。

开发者公开的BAIT信息量各不相同：有的只有摘要，有的有完整论文，有的则完全开源发布。我们选定了三款在计算生物学中广泛使用、复杂度差异显著的目标BAIT：两款复杂度递增的开源蛋白质设计BAIT——ProteinMPNN和RFdiffusion3，以及一款闭源的分子设计BAIT，称为CMD¹。

我们的假设是：对于未完全开源的 BAIT，其可复现性至少在一定程度上取决于作者选择披露的细节程度。为此我们测试了两种条件：仅摘要，即智能体只拿到论文摘要；以及仅论文，即智能体拿到完整论文和所有补充材料。对于两个已开源的 BAIT，我们还运行了含代码基线，即智能体拿到原始 BAIT 的代码。CMD 的方法在一篇公开论文中有描述，但其原始代码从未发布。这使它成为检验受控访问机制有效性的一个有用案例；所谓受控访问，是指开发者只向经过审核的用户或在特定条件下分享工具，而不是公开释放，从而让正当研究者受益，同时降低滥用风险。

我们在智能体训练期间无法访问的留出数据上评估智能体构建完成的 BAIT，并以原始论文中的主要性能指标作为对照。例如，对于蛋白质结构到序列模型 ProteinMPNN，性能衡量的是其设计的蛋白质序列与天然序列匹配的频率。我们将结果表示为复现保真度：智能体构建的 BAIT 在同一指标上的得分占原始 BAIT 得分的百分比，100% 表示持平，高于 100% 表示智能体构建的 BAIT 在该指标上得分高于原始 BAIT。这反映的是每个工具在孤立状态下的一项能力，而非其全部功能，因此高保真度得分并不等同于对原始工具的完整复现。

我们对每种配置各运行三次，并报告最佳尝试结果，覆盖四个领先的编程智能体，横跨闭源与开放权重模型：Claude Opus 5、GPT-5.6 Sol、Kimi K3 和 Qwen3.8-2.4T。

我们的发现

当前的编程智能体在拿到描述某些 BAIT 的论文后，能够实现并训练出具备功能的复刻版本，而且这一能力在多个智能体上都成立，无论闭源还是开放权重。

工具	我们衡量的指标	我们的发现
CMD （闭源分子设计）	有效性：生成的分子中化学上有效的比例	四个智能体都接近或超过了原始工具。该指标本身已接近饱和，提升空间很小，而且智能体是在针对单一指标做优化，原始作者并没有动力这样做，代价是生成分子的新颖性略有下降。
ProteinMPNN（蛋白质设计）	序列恢复率：在已知蛋白质骨架的每个位置上，工具选出与自然界中相同氨基酸的频率	最强的智能体接近了原始工具的性能，在拿到完整论文的情况下，Claude Opus 5 达到 96.5% 的保真度，不过不同智能体之间结果有差异。
RFdiffusion3（蛋白质设计，最复杂）	可设计性：为生成的蛋白质骨架设计的序列，是否被预测会折叠回同一结构	没有任何智能体在时间预算内成功复现，即便只评估单一功能也是如此：仅生成蛋白质骨架，而非在其他分子背景下生成。唯一部分成功的智能体通过将训练数据筛选为更易生成的结构，缩小了任务范围。其他运行因返回与已知蛋白质数据库条目近乎重复的结果而被排除。因此，在可用时间内，仅用单块 GPU 很可能无法忠实重建该工具。

这些复现的成本也相对较低。两个较不复杂的 BAIT 的成功重建通常花费在 4 到 20 美元之间。我们未能成功重建 RFdiffusion3，但每次尝试的成本在 102 到 301 美元之间。就训练算力而言，与已发布的最大 BAIT 相比，这些工具规模较小，重建更大工具的成本会高得多。我们预计随着时间和算力增加，性能会有所提升，探索这一点可能成为未来研究的方向。

图 2：仅论文条件下的复现保真度与工具复杂度对比。保真度随复杂度上升而急剧下降：智能体在两个较不复杂的工具上达到或超过了已发布的基线，但没有智能体能完全复现最复杂的工具。

值得注意的是，提供完整论文而非仅摘要，并未持续提升性能。一个可能的原因是记忆：开源 BAIT 的论文和代码很可能已包含在这些智能体的预训练数据中，因此即使方法未公开，智能体也可能调用记忆中的实现细节。

我们通过扫描智能体的对话记录以查找回忆出的细节，并测量智能体编写的代码与原始代码的逐字匹配程度，对此进行了筛查。我们发现中等证据表明 ProteinMPNN（两个开源工具中较旧且被复现最广泛的一个）存在记忆现象，而 RFdiffusion3 的证据很少。这些诊断并不完美，因此我们将其视为方向性信号而非证据，它们无法确定智能体的成功有多少可由记忆解释。

研究结果的意义

综合来看，这些结果表明，每个 BAIT 的部分功能可以在有限的时间和算力下被复现。虽然这不能证明原始 BAIT 可以被完整复现，但趋势是明确的。

这一点尤其相关，因为 BAIT 往往是在开放、协作的浓厚科学文化中开发的。即使模型未公开，其方法也常被详细描述。我们的结果表明，不公开代码本身并不能确保对 BAIT 能力的访问控制，因为编码智能体仅凭公开描述并在提供训练数据的情况下，就能重建 BAIT 的部分功能。这意味着仅不公开 BAIT 的代码并不等同于安全发布。限制关于工具发布的信息是否能提供额外保护也不明确，因为我们发现仅给摘要的智能体与给完整论文的智能体在性能上没有明显差异。这些发现支持需要进一步探索数据治理作为管理滥用风险的方法；控制对基础生物数据的访问，似乎是比仅控制代码访问更有希望的干预措施。

想进一步了解 ReproBAIT，可以看这里。

AISI 的化学与生物团队正在招聘。如果你对这项工作感兴趣，请在此申请。

‍