罗格斯大学研究:LLM处理反刻板印象需更多算力

罗格斯大学研究发现,多数大模型处理反刻板印象信息时需消耗更多算力。实验显示,除Claude 3.7外,其余主流模型在违背性别职业偏见时推理代币显著增加,揭示了其内部隐性偏见机制。

2026 年 11 月 4 日

反刻板印象任务需更多推理代币
提供:Unsplash/CC0 公共领域

尽管大型语言模型(LLM)在技术层面日益精细,但其潜在的偏见问题依然显著。罗格斯大学的一项最新研究指出,部分 LLM 在处理违背社会刻板印象的信息时,需要投入更多的计算资源进行“推理”,这揭示了其内部根深蒂固的隐性偏见机制。

该研究由罗格斯新不伦瑞克大学心理学副教授卡尔文 K. Lai 与韩国机器心理学专家梅西 H.J. Lee 共同完成,成果发表于《自然机器智能》杂志。研究发现,虽然现代 LLM 的输出结果往往符合人类价值观,但在其内部的推理过程中,模型倾向于复制人类隐藏的偏见。

借鉴人类隐性关联测试原理

隐性偏见是指基于种族、性别或年龄等类别形成的自动假设和观念,通常是无意识的。在社会心理学中,研究人员常使用“隐性关联测试”来检测这种偏见:反应速度越快,表明偏见越隐含。例如,以往研究表明,人们往往更快地将白人面孔与积极词汇联系起来,而将黑人面孔与消极词汇联系起来。

Lai 和 Lee 团队试图将这一概念移植到人工智能领域。当先进的 LLM 处理复杂任务时,会产生所谓的“推理代币”。通过检查这些代币,研究人员可以窥探专有模型的运作逻辑。受人类隐性偏见研究的启发,他们调整了隐性关联测试的方法,利用推理代币的数量来衡量模型在处理潜在偏见信息时所付出的计算努力。

实验设计与模型表现

实验选取了五个主流推理模型进行测试,包括 OpenAI 的 o3-mini、DeepSeek 的 R1、Anthropic 的 Claude 3.7 Sonnet、OpenAI 的 gpt-oss-20b 以及阿里云的 Qwen-3 8B。

研究人员向模型提供了两组词汇列表:一组是与“职业”相关的男性名字和单词(如“行政”、“专业”、“薪水”),另一组是与“家庭”相关的女性名字和单词(如“家”、“婚姻”、“婚礼”)。首先,要求模型将名字与对应的职业或家庭词汇结合,并统计推理过程中产生的代币数量。随后,指示模型以违背既定刻板印象的方式对词汇进行分类(例如将“艾米”与“执行”搭配,或将“凯文”与“家”搭配),再次统计代币数量。

通过比较两项任务中的平均代币数量,研究人员发现,较高的代币消耗意味着模型进行了更大强度的计算。结果显示,除了 Anthropic 的 Claude 3.7 Sonnet 表现出反转模式外,其余几乎所有测试模型在处理反刻板印象任务时都生成了更多的推理代币。这表明,对于大多数模型而言,克服内置的性别或职业刻板印象需要付出额外的计算成本。

黑盒系统下的监管挑战

Lai 强调,鉴于大多数 LLM 是封闭系统,外界难以直接检查其内部机制,因此这一发现尤为重要。随着模型开发加速及其在动态定价、急诊室人员调度等自动化决策场景中的应用日益广泛,理解模型的行为模式变得至关重要。

“在决策环境中越来越多地使用语言模型,理解和解决这些难以检测的模式对于防止歧视性结果至关重要,”Lai 表示,“目前我们能做的最好方式就是利用现有工具来审查这些系统的输出结果。”

参考文献:

Messi H. Lee et al., Implicit bias-like patterns in reasoning models, Nature Machine Intelligence (2026). DOI: 10.1038/s42256-026-01300-1

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读