AI 生成内容冲击学术出版与知识平台信任体系
当前人工智能生成内容在社交媒体上的泛滥，引发了关于信息可信度的广泛讨论。尽管 Claude 和 Gemini 等聊天机器人模型在实际应用中展现出一定价值，但其生成的答案往往伴随“幻觉”现象，即自信地提供看似合理但错误的信息。这一特性使得用户在使用 AI 工具时必须遵循“信任但验证”的原则。
这一原则同样适用于维护科学记录的完整性。自由撰稿人、应用数学博士本杰明·斯库斯（Benjamin Scully）在文章《I Used AI to Fake a Scientific Paper》中披露了一项实验：他试图利用人工智能生成的论文突破 IEEE 的同行评审防御机制。IEEE Spectrum 特色与人工智能节奏编辑 Eliza Strickland 指出，斯库斯的实验过程极为简单，仅需输入“运行实验”和“写论文”指令，随后将生成的内容直接提交至出版系统，而无需进行任何实质性的研究或数据收集。
斯库斯发现，IEEE 目前采用人类审核流程与研究完整性检查程序相结合的方式来应对此类挑战。然而，随着大型语言模型（LLM）技术的迭代，更先进的模型已不再犯早期免费版本中常见的低级错误。这导致出版商陷入了一场军备竞赛：一方面要识别越来越逼真的 AI 垃圾内容，另一方面要部署相应的检测系统。
除了商业学术出版商，维基百科作为全球主要的人类知识库也面临类似困境。Elia Lebleu 在接受 Strickland 采访时透露，其团队正应对与出版商相同的挑战。Strickland 表示，维基百科长期被视为人类生成信息的存储库，但目前尚不清楚这种状态能维持多久。
如果科学记录的可信度及基本事实的准确性无法得到集体认可，量子科学家和骗子将在缺乏共享现实的信息环境中获益。这种不确定性最终将削弱公众对负责整理人类知识的现有机构的信任。Strickland 进一步提出疑问，在人工智能主导科学研究和论文撰写的未来，人类是否会被排除在外，或者人们是否只需为其他人工智能写作成果提供信任背书。
