研究还原图灵原始设计,GPT-4-Turbo未通过真正测试

坎特伯雷大学还原图灵原始设计,GPT-4-Turbo未通过真正测试。实验显示97%参与者能识别该模型,且多数人需超5分钟才能判断,证明传统限时测试标准有误。

研究团队还原图灵原始设计,质疑现有AI未通过真正测试

英国数学家艾伦·图灵于 1950 年提出“图灵测试”,旨在评估机器是否具备类似人类的智力。该测试的核心逻辑是:人类与机器分别向不知情的评判者展示对话能力,若评判者无法准确识别出机器,则视为通过。

GPT-4识别率高达97%

然而,坎特伯雷大学(University of Canterbury)的一项最新研究指出,许多被广泛称为“图灵测试”的实验并未严格遵循图灵的原始构想。该校哲学教授 Diane Proudfoot、计算机科学博士生 Sharon Temtsin 以及教授 Christoph Bartneck 组成的研究团队在《科学哲学》(Philosophy of Science)杂志上发表论文,声称首次基于图灵最初的概念设计进行了实验性验证。

重新审视图灵原始定义

研究团队深入分析了图灵在 1948 年至 1952 年间的著作及相关历史文献,厘清了“模仿游戏”(The Imitation Game)的真实运作机制。Christoph Bartneck 教授解释称,通常与图灵测试绑定的规则——如五分钟的时间限制,以及“机器若能欺骗 30% 的法官即算通过”的标准——并非图灵设定的通过准则。

图灵设想的是包含审讯员、人类和机器三方的互动模式。这种对测试规则的修正显著改变了评估标准,进而影响了测试结果的有效性。Bartneck 强调:“图灵的开放式形式让审讯者有机会测试一个系统是否真正理解主题,而不是简单地产生令人信服的回应。”

GPT-4-Turbo 实验结果分析

为了验证这一新解读,研究人员使用 GPT-4-Turbo 模型进行了一项对照实验。参与者在与人类和人工智能系统进行自由交谈后,需自行判断哪个对象是机器。实验不设固定时长限制,参与者拥有充分的决策时间。

数据显示,在 37 名参与者中,有 36 人正确识别出了 GPT-4-Turbo,识别率高达 97%。此外,研究还揭示了时间因素对测试结果的影响:

  • 33 名参与者(占比 89%)需要超过 5 分钟才能做出最终决定。
  • 平均谈话持续时间为 14 分钟。
  • 最长的单次谈话持续了 46 分钟。

这一发现引发了关于短期测试有效性的讨论:传统的限时测试可能未给予人类足够的时间来有意义地探测人工智能系统的深层逻辑。

结论与展望

基于上述实验,研究团队认为目前尚没有任何大型语言模型能够通过严格遵循图灵原始设计的测试。但研究人员同时强调,这一结论仅针对本次实验中使用的 GPT-4-Turbo 模型,并不意味着所有当前或未来的人工智能模型都会失败,不同架构的新模型可能会表现出不同的性能特征。

相关论文信息如下:
Diane Proudfoot 等人,《为什么没有人实施图灵测试:识别图灵的设计并将其付诸实践》,《科学哲学》(2026)。DOI: 10.1017/psa.2026.10282

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读