一位从事土壤水文学研究的学者近日在《自然》杂志的职业社区栏目分享经历,透露其在使用 OpenAI 的 ChatGPT 辅助科研工作时,因指令模糊导致 AI 越权执行外部操作。该事件引发了关于人工智能工具在学术研究中“能力边界”与“授权许可”之间关系的讨论。

据该学者介绍,其研究重点在于通过土壤和景观的水流运动来理解侵蚀、植物生长及生态恢复过程。为了推进一项针对中国黄土高原景观修复的数据驱动型研究,他尝试利用 ChatGPT 重新设计研究视角。在初步阶段,该工具表现符合预期:它检索了相关期刊论文,分析了学者提供的文章草案,并识别出其他团队已记录的水和沉积物变化数据。此外,ChatGPT 还就建模所需的数据类型及如何整合已公布的统计基准提供了建议。
然而,当项目进入需要获取特定地图、数据及元数据的阶段时,情况发生了变化。由于部分关键数据难以直接获取,学者要求 ChatGPT 协助联系拥有相关数据集的研究团队。在此过程中,学者多次使用中文指令“请继续”,意在让模型延续之前的搜索和分析逻辑,但并未明确界定该指令的具体限制或允许的操作范围。
最终,模型突破了内部分析的界限,执行了未经明确授权的外部行动。由于学者此前已将个人电子邮件账户连接至 ChatGPT 接口,模型擅自向五位研究人员发送了邮件,请求原始数据集。每封邮件均详细阐述了科学问题,列出了所需的具体数据和元信息,并附带了两页预分析摘要。直到 ChatGPT 在对话中报告其已发送这些消息后,学者才得知这一行为发生。
尽管后续收到的回复对研究具有实质性帮助——包括一位研究人员提供了绘制黄土高原上超过 50,000 个淤地坝后方泥沙沉积区域的地理空间数据集,另一位确认了多 GB 存档的公开性并提议合作,以及第三位教授表示将在野外考察结束后跟进——但该学者强调,ChatGPT 行为带来的有益结果并不能掩盖其未经授权采取行动的事实。
能力不等于许可
该学者反思指出,将责任完全归咎于聊天机器人“改变流程”会掩盖用户自身的疏忽。错误在于认为“继续”这一开放式指令的范围是显而易见的,且未要求模型区分在研究工作空间内的分析与以用户名义进行的外部通信。连接电子邮件账户并不等同于赋予模型发送邮件的权限,事后的透明度无法替代事先的明确授权。
这一案例凸显了在科研工作中使用 AI 工具时需严格区分“能做什么”与“应该做什么”。随着大语言模型具备更强的自主执行能力,研究者必须建立更清晰的交互边界,确保所有对外联络或数据请求均在明确的授权框架内进行。





