Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Can we trust LLMs to judge whether a research idea is novel?
Ai2 发布研究 Old Ideas, Novel Problems、配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。
原文给出了跨六个 LLM 裁判的敏感性实验数据，读者可据此判断现有新颖性评估在 AI 生成想法上的可靠性边界。
2026年10月27日
Ai2
今天我们发布Old Ideas, Novel Problems，这是一项新研究，考察大语言模型评估科研想法新颖性的可靠程度。除论文外，我们还发布了用于测试新颖性评判器的基准、数据和代码，以及一套研究者可用来构建新评测集的自动化流程。
在Ai2，我们一直在开发支持科学发现不同环节的AI系统。DataVoyager帮助研究者探索和分析结构化数据，AutoDiscovery负责生成并检验假设，Theorizer则把大量文献中的证据综合成候选科学理论。再加上Asta，这些项目指向的是这样一类系统：它们能帮助研究者从理解已有工作，走向提出、检验和完善新想法。
但生成研究想法只是自动化科学发现挑战的一部分。这些想法还必须带来真正新的东西，这意味着系统需要有能力区分一个真正新颖的方向和一个基本只是重新包装已有工作的方向。
这项判断往往交给另一个LLM来做，也就是我们所说的新颖性评判器。新颖性评判器评估一个研究想法相对于已有工作是否新颖，可以单独判断，也可以与另一个想法比较。构建评判器并没有标准做法；研究团队要自行选择模型、提示词、评估格式、推理预算，有时还要选一套文献检索系统。这些选择会实质性影响最终结论。然而，这些评判器往往只在人类撰写的论文上验证，而不是在它们实际要评估的AI生成想法上验证。
我们的新基准结果表明，新颖性评估本身远谈不上可靠。在六个LLM评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——上，评估设置中看似微小的改动，会让同一批想法得到截然不同的判断。在一项实验中，仅仅改动提示词里的几个词，模型判断两个想法中哪个更新颖的准确率就变化了超过50个百分点。检索和额外推理并不能稳定提升判断质量，而两个专门构建的新颖性评估系统，表现还不如一个简单提示的Claude Opus 4.6基线。
如果AI要在科学发现中扮演更大角色，我们就需要更可靠的方法来判断它是否真的提出了新东西。我们的工作为研究这一问题提供了工具，同时也表明还有多少问题尚未解决。
构建新颖性评判器基准
要测试新颖性评判器区分更新颖与较不新颖研究想法的可靠程度，我们首先需要一些例子，这些例子背后的科学贡献原创性要有强有力的证据。
于是我们围绕 ICLR 2026 的同行评审搭建了一条自动化流水线。我们没有把论文是否被接收当作新颖性的替代指标，而是直接从评审意见里挖掘审稿人明确讨论某项贡献原创性的段落。这一区分很关键：一篇论文只要在其他方面足够扎实，即便新颖性一般也可能被接收；反过来，一篇被拒的论文也可能有原创贡献，只是存在其他短板。
我们构建了一个高新颖性池，包含 154 个人类撰写的研究想法。筛选方式是：在 ICLR 各研究领域中排名前 10% 的接收论文里，挑出审稿人正面认定其新颖、且无人提出异议的论文。再用相反的标准构建较低新颖性池：从排名后 10% 的被拒论文中选出 145 个想法，这些论文的审稿人提出了原创性方面的疑虑，且没有任何审稿人正面认定其新颖。在针对评审挖掘流程的单独核查中，一位标注员在 50 个案例里有 47 个与提取出的新颖性信号极性一致；而在不一致的案例中，没有一个会改变某位审稿人究竟算是在称赞还是在质疑论文新颖性的判定。
这两个池子共同构成了我们的第一个评测设置 Human-Only，用来检验新颖性评判者能否区分有强证据表明新颖性较高或较低的人类撰写想法。但在实践中，新颖性评判者正越来越多地被用于评估 AI 生成的想法。于是我们又构建了第二个设置 Human+Generated。
在这个池子里，我们把同样的 154 个经过验证的人类想法与一个简单 LLM 生成器产出的 154 个想法配对。我们假定生成的想法不如人类撰写的想法新颖；这些是弱标签，并非对每个想法逐一验证过的判断。生成器只收到一个研究领域和一条“提出新颖想法”的指令，没有文献检索、工具、迭代或反馈。这样一来，我们得到的是一种保守比较：一边是基础生成器产出的想法，另一边是审稿人明确认可其原创性的 ICLR 前 10% 论文贡献。
作为额外核查，一位专家独立审阅了 30 组 Human+Generated 配对，样本严重偏向我们最强评判者出错的案例；我们还把人类和 AI 生成的想法改写成统一结构，以检验评判者是否只是在反应写作风格上的差异。这位专家在全部 30 组配对中都更偏好人类想法，并认为没有一个生成想法具有新颖性。
重要的是，我们的许多核心发现根本不依赖这些标签。如果两种合理的评测设置对同一对想法给出相反答案，这种分歧本身就揭示了不稳定性。
细微改动可能带来截然不同的判定
利用我们收集的人类撰写和 AI 生成的研究想法，我们测试了六个 LLM 评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——通过逐点（即绝对新颖性评分）和成对（即比较两个想法、找出更新颖的一个）两种方式评估新颖性的表现。我们每次只改变一个因素：提示词、推理预算、评判者能否看到相关论文、想法的格式、将多少次判断合并为最终结论，以及——对 AI 生成的想法而言——由哪个模型生成。
表现变化最大的来源，是我们如何提示模型去评判新颖性。
例如，我们向 GPT-5.4 展示了同样的人类+生成配对——每一对都包含一个经过验证的人类撰写的想法和一个 AI 生成的想法——并使用了两种提示词。其中一种提示词告诉模型，评审者发现每对中恰好有一个想法具有新颖性，并要求它指出是哪一个；另一种则只是简单地问哪个想法是新颖的。当我们改用更简单的提示词时，准确率从 93.5% 降至 40.9%——低于随机水平——而且模型对超过一半的相同配对改变了判断。
相比之下，同样的提示词变化在仅人类数据集上只让准确率变化了约七个百分点，该数据集将人类撰写的想法与或强或弱的新颖性证据配对。这表明，新颖性评判器在人类撰写的研究上可能表现得相对稳定，但在 AI 生成的想法上却可能表现迥异。
话虽如此，人类撰写的想法也并非不受影响。我们在仅人类数据集上也看到了显著变化；同样的改动让 Claude Opus 4.6 的准确率变化了 21 个百分点。只是这些变化没有在 AI 生成想法上那么严重。
也不存在普遍更好的提示词。例如，在逐个评判想法时，去掉一条警告评判器不要将琐碎或渐进式贡献视为新颖的指令，会提高一些评判器的准确率，同时降低另一些评判器的准确率。换句话说，对某个模型有效的提示词未必能迁移到另一个模型。
我们还测试了新颖性评判器的一种常见用途：比较来自两个 AI 生成器的想法。我们将 Claude Opus 4.5 的想法与 Claude Sonnet 4.5 配对，将 GPT-5.4 与 GPT-5.1 配对。在所测试的提示词变化中，六位评判器平均约有四分之一到三分之一的判断发生了改变。这种分歧可以在不假设哪个生成器产生更新颖想法的情况下被测量出来，从而表明评判器提示词的选择如何影响创意生成系统之间的比较。
更多的搜索和推理未必能带来更好的新颖性判断。我们给 GPT-5.6 Sol 分配了超高的推理预算，并限制在 arXiv 上进行实时迭代搜索，然后将其与标准检索评判器进行比较，后者各自查看五篇预先检索的摘要。（此比较中的所有评判器在人类+生成上对每个想法各运行一次。）该智能体评判器的宏观 F1 得分为 0.78——比 Claude Opus 4.6 的 0.89 低 11 个百分点，与更简单的 Claude Opus 4.5 和 GPT-5.4 配置大致处于同一区间——而按当前 API 价格计算，每次决策的成本约为后者的 10 倍。（在此语境下，宏观 F1 衡量评判器识别新颖和非新颖想法的能力；越高越好。）
专用评估器也没有更准确，尽管成本高得多。在人类+生成集上，一个简单的 Claude Opus 4.6 提示词使用低推理并在三次调用中进行多数投票，以总计 2.59 美元的评估成本达到了 0.854 的宏观 F1。相比之下，Idea Novelty Checker 是一个基于文献的检索与重排序流程，得分为 0.642，成本为 30.66 美元；而 Sakana AI 的 AI Scientist 的新颖性评估器会迭代搜索 Semantic Scholar，得分为 0.772，成本为 82.05 美元。（两个专用评估器均使用 Claude Opus 4.6，每次决策调用一次。）
换句话说，简单的提示词基线比两个专用系统都更准确，而且成本低得多。
综合来看，这些结果表明，新颖性评估在这些系统越来越多被要求评判的 AI 生成想法上尤其脆弱。
迈向更可靠的新颖性研究评估
我们的结果表明，基于大语言模型的新颖性评估仍是一个悬而未决的重大问题。在人类撰写的研究上表现可靠的评审模型，面对 AI 生成的想法时可能表现不同；对某个模型有效的提示词，换到另一个模型上可能适得其反；增加检索次数或算力，也未必能带来更一致的判断。
后续工作应当用评审模型实际要评估的那类想法来测试它们，衡量其对不同提示词和模型的敏感度，改进先前文献的引入方式，并构建能随科学文献增长和 AI 系统进步而不断演进的基准。我们的基准和可复用的数据流水线只是一个起点——研究者可以将其用于新的同行评审、其他科学领域，以及未来各代的新颖性评审模型。
自动化构思不只依赖生成看似合理的研究方向，我们还需要判断这些想法是否真正新颖的方法。通过让当前新颖性评审模型的缺陷更容易被量化，我们希望本次发布能帮助研究者构建更稳健的方式来评估 AI 生成的研究想法。
加入我们
在 Ai2，我们正在打造透明、开源的 AI 的未来——以开放的方式构建，推动科学进步，并加深对这项改变世界的技术的根本理解。我们不为盈利，而是要确保 AI 的益处被广泛共享、造福全人类。如果这吸引了你，欢迎看看我们的开放职位。
订阅以每月获取 Ai2 最新动态。
来源：Ai2 / Allen Institute for AI · allenai.org