Allen Institute for AI（AI2）近日发布了名为“旧想法，新问题”的研究成果，旨在探讨大型语言模型（LLM）在评估科学研究新颖性时的可靠性。伴随论文发表，团队还公开了用于测试“新颖性评审者”的基准、数据、代码，以及供研究人员构建新评估套件的自动化管道。
AI2 长期致力于开发支持科学发现各环节的 AI 系统，包括帮助探索结构化数据的 Data Traveler、生成和测试假设的 Automated Discovery，以及将文献证据合成为候选理论的 Theorist。这些系统与 Asta 共同指向一个目标：协助研究人员从理解前人工作到提出、测试和改进新想法。
然而，仅产生研究想法不足以实现自动化科学发现，关键在于区分真正的新方向与对现有工作的重新包装。这一判断通常由另一个 LLM 承担，被称为“新颖性法官”。目前，这类法官缺乏统一的构建标准，研究团队在模型选择、提示词设计、评估格式、推理预算甚至文献检索系统上存在巨大差异，这些变量可能显著影响判决结果。此外，现有的验证多基于人类撰写的论文，而非实际需评估的 AI 生成想法。
新的基准测试结果揭示了新颖性评估本身的不可靠性。在对 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 这六个 LLM 评审者的测试中，看似微小的评估设置变化导致了对同一想法截然不同的判断。实验显示，仅更改提示词中的几个单词，模型在确定两个想法中哪一个更新颖时的准确率波动超过 50 个百分点。增加检索和额外推理并不总能提升判断力，两个专门构建的新颖性评估系统的表现甚至不如简单的 Claude Opus 4.6 基线提示。
若要在科学发现中更广泛地应用人工智能，必须建立更可靠的方法来判定其产出是否具备真正的新颖性。该研究为这一问题提供了工具，同时也指出了大量待解决的挑战。
为新评委建立一个基准
为了测试创新评审员区分新旧研究想法的能力，首先需要确立基础科学贡献原创性的有力证据。研究团队建立了一个自动化管道，挖掘 ICLR 2026 同行评审中明确讨论贡献原创性的评论段落，而非简单以论文录用与否作为标准。因为一篇论文可能因其他优势被接受，也可能因非原创性问题被拒绝。
团队构建了包含 154 个高新颖性人类撰写想法的池子，选自 ICLR 领域中评分最高的前 10% 且审稿人积极认定其新颖性的论文；同时建立了包含 145 个低新颖性想法的池子，选自底部 10% 且审稿人质疑其原创性的论文。经单独检查，在 50 个案例中，47 个案例的注释者同意提取的新奇信号极性，无分歧改变审稿人对论文新颖性的赞扬或质疑态度。
鉴于实践中“新颖性法官”越来越多地用于评估 AI 生成的想法，团队创建了第二个数据集：“人类+生成”（Human+Generated）。该数据集将上述 154 个经过验证的人类想法与由简单 LLM 生成器产生的 154 个想法结合。生成器仅接收研究领域指令并提出新想法，未进行文献搜索或使用工具。专家独立审查了 30 对重写为共同结构的人类与 AI 想法，结果显示专家在所有配对中都偏好人类想法，且未评价任何 AI 创建的想法具有新颖性。
值得注意的是，许多核心发现不依赖于标签。如果两个合理的评价设置为同一对想法提供相反答案，这种分歧本身即证明了评估的不稳定性。
微小的变化可以产生非常不同的判决
利用收集的人类撰写和 AI 生成的研究想法，团队测试了六名 LLM 评委如何通过绝对新颖性评分和对比较（找出较新的想法）来评估新颖性。测试逐步调整了即时推理预算、文件查看权限、想法格式化方式以及合并判断的数量等因素。
性能最大的转变源于提示词如何引导模型判断新颖性。例如，向 GPT-5.4 展示相同的人类+生成配对时，一种提示告诉模型审稿人在每一对中都发现了一个新想法并要求确定哪一个更新，另一种仅问哪个想法是新的。准确率从 93.5% 降至 40.9%，低于随机猜测水平。
相比之下，同样的提示变化在人类数据集中仅导致约七个百分点的准确率转移。这表明新颖性法官在处理人类撰写研究时相对稳定，但在处理 AI 生成想法时表现迥异。尽管如此，人类创作的想法也受影响，例如某项变化使 Claude Opus 4.6 的精度提高了 21 分，只是幅度小于 AI 生成想法。
不存在普遍更好的提示词。例如，在评判个别想法时，放弃警告法官不要将增量贡献视为新颖的指令，对某些法官提高了准确性，而对其他人则降低了准确性。这意味着针对一个模型的优化提示未必能迁移至另一个模型。
团队还测试了比较两个人工智能生成器想法的场景，结合了 Claude Opus 4.5 与 Claude Sonnet 4.5 以及 GPT-5.4 与 GPT-5.1 的想法。平均而言，六名法官中约四分之一到三分之一的判决发生了改变。这种分歧可在不预设哪个生成器更具新颖性的情况下测量，显示了提示词选择对创意系统间比较的影响。
更多的搜索和推理并不一定能带来更好的判断。给予 GPT-5.6 Sol 极高推理预算并允许其在 arXiv 上进行实时迭代搜索后，其宏 F1 分数为 0.78，比 Claude Opus 4.6 的 0.89 低 11 个百分点，且大致处于更简单的 Claude Opus 4.5 和 GPT-5.4 设置范围内。而在当前 API 价格下，其单次决策成本约为后者的 10 倍。（注：宏 F1 衡量识别新颖与非新颖想法的能力，数值越高越好。）
尽管成本高昂，专用评估器的准确度也未提高。在 Human+Generated 套件中，使用低推理和三次调用多数投票的简单 Claude Opus 4.6 提示，以 2.59 美元总成本实现了 0.854 的宏 F1。相比之下，基于文献检索和重排管道的 Idea Novelty Checker 获得 0.642 分，价格为 30.66 美元；Sakana AI 的 AI Scientist 反复搜索 Semantic Scholar，获得 0.772 分，价格为 82.05 美元。这两个专用评估器均使用 Claude Opus 4.6，每次决定仅调用一次。
简而言之，简单的提示基线比任何专门构建的系统更准确且更便宜。结果表明，针对 AI 生成想法的新颖性评估特别脆弱，而这些系统正日益被要求执行此类判断。
为了更可靠地评估新型研究
研究结果显示，基于 LLM 的新颖性评估仍是一个主要的开放问题。对于 AI 生成的想法，看似可靠的法官行为可能存在差异；有助于一个模型的提示可能损害另一个模型；更多的搜索或计算不一定产生更一致的判断。
未来的工作应侧重于测试实际评估的想法类型，测量提示和模型的敏感性，改进先前文献的纳入方式，并建立可随科学文献增长和 AI 系统改进而演变的基准。当前的基准和可重复使用的数据管道为研究人员提供了起点，可应用于新的同行评审、其他科学领域及下一代新颖性评审者。
自动化创意不仅取决于产生可信的研究方向，还需要方法判断这些想法是否真正新鲜。通过更容易衡量当前新颖性评审的弱点，希望本版本能帮助研究人员建立更强大的方法来评估 AI 生成的研究想法。
