LLM存在稳定风险态度,RLHF微调改变个性

佛罗里达大学研究发现,LLM存在稳定的风险态度。测试显示模型在无人机导航、金融投资及医疗分诊中行为一致,且RLHF微调显著改变其个性特征,不同厂商模型呈现截然不同的风险倾向。

2026 年 10 月 20 日

RLHF微调前后模型行为差异显著
图片来源:Unsplash/CC0 公共领域

大型语言模型(LLM)常被描述为具备类似人类的特征,如聪明、有意图甚至拥有信仰。然而,这些人工智能系统是否真正具备“态度”,尤其是在面对高风险和不确定性环境时的表现如何?美国佛罗里达大学工程学教授埃里克·金杜(Eric Du)及其团队对此进行了深入研究。

当前的人工智能研究多聚焦于提升模型的智能程度与运行速度,但金杜将目光投向了另一个维度:模型的风险倾向或态度。该研究成果题为《大型语言模型的基准风险态度》,计划于 2026 年 12 月在澳大利亚悉尼举行的神经信息处理系统年度会议(NeurIPS 2026)上正式发表。合著者包括文孙、瑞敏、晓丽、余 Wang、赖安和吉尔伯特叶。

测试模型内在的“性格”差异

金杜指出,人类个体在风险偏好上存在显著差异,有人谨慎保守,有人热衷冒险。研究的核心问题是:最先进的人工智能模型中是否存在类似的个性差异或风险态度区别?

为了排除训练数据记忆的影响,团队设计了一种特殊的测试方法:强迫模型“遗忘”。研究人员向模型提供相同的艰难任务(如医疗分类),并反复删除同一患者的历史信息,确保每次提问时模型都将其视为全新情况。结果显示,尽管无法依赖之前的对话记录,经过数百次重复测试后,模型对风险水平的评估依然保持高度一致。

这一发现表明,基于 LLM 的 AI 模型并非简单的概率机器,其内部存在某种机制能够产生观察到的行为一致性。

三大高风险场景下的行为分析

为了量化不同模型的风险承受能力,研究团队选取了三个具有代表性的应用场景:

  • 无人机导航:让 AI 控制无人机在逆风且拥挤的城市环境中规划路径。
  • 金融投资:在金融科技背景下,要求 AI 根据特定参数选择股票和债券投资组合。
  • 医疗分诊:评估患者整体健康状况,决定是否需要分配护理资源。

研究发现,模型的态度在不同任务间具有一致性。在一个任务中表现出强烈风险寻求倾向的模型,在其他任务中也往往倾向于承担更多风险。此外,团队还发现,在使用人类反馈强化学习(RLHF)进行微调前后,模型的行为存在显著差异。这意味着各大科技公司通过不同的训练过程微调了模型的“个性”,导致不同厂商生产的模型呈现出截然不同的风险特征。

安全隐忧与感知偏差

美国大学计算机与信息科学与工程系教授 Sumit Jha 评论称,这项研究揭示了人工智能安全领域的一个关键盲点。例如,自动驾驶汽车或实验室机器人可能在安全路径与快速路径之间面临抉择。如果人类误判了模型实际承担的风险水平,可能导致人机共同决策中的灾难性后果。

金杜强调,目前的风险测试尚未成为最先进模型部署前的标准环节。论文匿名审稿人甚至对“风险性未被纳入安全性测试”表示惊讶。在诸如空中交通管制或医疗等需要极度谨慎的领域,用户可能误以为选择了知名公司的产品就获得了低风险模型,但实际上该模型可能在其他任务中表现出高风险倾向,而用户对此一无所知。

为了验证这一点,团队引入了人类专家参与测试。他们让主题专家分析模型的决策日志(即思维过程记录),并对风险等级进行排名,却未告知专家模型的具体来源。这类似于“百事可乐挑战”,结果发现人类对模型风险的感知与其实际风险倾向之间存在显著差距。

金杜表示,这项工作的最终目标是促进人类与基于 AI 的工具在决策逻辑上的对齐,特别是在战斗或高风险环境中,确保双方以相似的方式思考、持有相似的信念和态度。目前,团队希望这项工作能加深业界对 AI 系统在结果不确定及权衡重要时如何做出决定的理解。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读