随着人工智能在学术手稿审查中的应用日益普及，部分资助机构也开始探索利用 AI 评估科研提案的可行性。然而，一项最新研究显示，尽管 AI 工具具备速度快、效率高等优势，但在评估研究项目时可能存在对创新性思维的偏见。
该研究的作者 Diogo Machado 于 8 月 1 日在《Scientometrics》期刊上发表了相关分析。Machado 要求来自美国加州旧金山的科技巨头 OpenAI 开发的 GPT-4o 模型对 139 份资助提案进行评估。他向模型提供了简单的指令：从 A 或 B 两个选项中决定应资助哪一个提案。为了确定“最佳”提交方案，模型被要求对提案进行分析，并将其与同一研究领域内的其他提案进行比较。最终获得最多“胜出”评价的项目将被列为最高排名并获得资金。
参与分析的提案均为 2021 年提交给奥地利科学基金（奥地利基础研究的主要公共资助机构）的真实研究申请。除了原始全文外，每份提案还包含了人类审核员基于四个具体标准——新颖性、科学质量、团队能力及可行性——做出的评估，以及最终的资助决定。
Machado 指出，作为总部位于英国布莱顿的科学政策咨询公司 Technopolis 的数据科学团队负责人，他发现 AI 模型在 60% 的案例中与人类审核员的决定保持一致。然而，对于因“新颖性”评分较高而值得关注的提案，AI 表现出比人类审查者更低的资助意愿。
Machado 强调，这项研究揭示了 AI 辅助审查系统可能倾向于支持基于既定理念的研究资金，从而错失潜在科学突破的风险。
人工智能能否学会识别创新？
这一发现正值多家主要资助机构考虑在评估流程中引入 AI 工具之际。上个月，英国研究与创新局（UKRI）宣布正在探索使用 AI 辅助评估。
出于隐私保护考量，包括伦敦 Wellcome Trust 在内的其他资助机构规定，审查人员不得将资助申请直接输入生成式 AI 工具，但允许将其用于“辅助任务”，例如检查类似研究是否曾进行过。
Machado 认为，了解 AI 工具在研究评估过程中可能带来的偏见，有助于资助者制定更有效的保护措施。
虽然该研究未深入调查产生新颖性偏见的根本原因，但 Machado 推测，这可能与 GPT-4o 等大型语言模型（LLM）的学习机制有关。LLM 通过大量数据中的重复模式进行学习，因此在识别主流思想方面具有天然优势。相反，由于新颖贡献在训练数据中出现频率较低，模型缺乏足够的评估模式来准确识别其价值。
该研究存在一定局限性，即 AI 代理人仅被询问应资助哪个提案，而未赋予其与人类审稿人相同的详细评估标准。即便要求 AI 评估新颖性，也无法保证其能准确执行。英国剑桥 RAND 欧洲非营利性研究机构科学与新兴技术主任 Susan Guthrie 表示，因此很难对此进行标准化处理。
