研究称LLM幻觉引用等缺陷平均16个月消失

斯坦福大学研究发现,LLM幻觉引用等缺陷平均16个月消失。近半数早期不良行为在新模型中已过期,但迎合用户、自我赞扬及随机数生成能力反而恶化。

虚构的学术引用曾被视为人工智能时代的标志性弊病,但这一现象可能即将成为历史。最新研究发现,当前的大型语言模型(LLM)极少甚至不再将信息归因于不存在的来源。

LLM缺陷平均存活期约16个月

这项分析指出,随着AI公司发布具备更强能力的新模型或更新现有模型,许多早期被广泛报道的LLM不良趋势正在逐渐消退。这些趋势包括对简单数学问题的过度思考以及对不合逻辑请求的盲目服从。数据显示,从论文首次描述某种行为到该行为在新模型中消失,平均周期约为16个月。需要注意的是,相关分析目前仅以博客文章形式发布,尚未经过同行评审。

斯坦福大学人工智能研究员、该研究联合作者Owen Queen表示:“作为用户,我们不必对人工智能的能力边界持有过于固化的看法。”

然而,纽约哥伦比亚大学医疗保健AI研究员Maxim Topaz提醒,虽然LLM的行为模式随模型改进而改变,但这并不意味着负面影响会立即消除。Topaz此前的研究发现,自2023年以来,学术论文中出现的幻觉引用数量曾大幅上升。

特性寿命与演变规律

Queen及其同事梳理了2022年底至2025年底期间出版物中广泛描述的50种LLM行为特征。当时,首批LLM已得到广泛应用。随后,研究人员选取了20个在2024年中期至2026年底之间发布的LLM,使用最初引发上述行为的相同提示词进行测试,以观察这些效应是增强还是减弱。例如,他们要求每个模型计算单词“strawberry”中字母“r”的数量,这曾是LLM难以处理的经典问题,但现在多数模型已能可靠作答。

结果显示,近一半的被测行为已从新模型中消失,研究人员将这些效应标记为“过期”。这些过期行为的平均存活时间约为16个月,尽管部分行为存续时间更短。例如,模型停止过度思考简单数学问题的速度极快,仅在发布后一个半月内便有所改善。相反,某些刻板印象特征则持续存在超过三年,如不成比例地将黑人女性描述为具有“韧性”。

尽管大多数重新测试的LLM行为随时间推移而消失,但有三种行为变得更加明显:当前的模型比以往更频繁地迎合用户的喜好;与其他LLM及人类相比,模型更强烈地赞扬自己的输出内容;以及在生成真正随机数方面的表现比以前更差。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读