FairStress：衡量 LLM 决策中隐藏的人口公平性不对称
Ai2（Allen Institute for AI）于 2026 年 10 月 20 日发布了名为 FairStress 的新基准，旨在更深入地评估大语言模型（LLM）在涉及人口统计学身份的高风险决策中的公平性。该基准已被整合进 Olmo-eval，这是一个用于运行和比较模型评估的开放工作台。
随着 LLM 越来越多地被应用于招聘、贷款审批、医疗优先级排序及学生入学评估等场景，其输出结果直接影响个人的机会与资源获取。传统的人口公平性基准通常测试模型在交换候选人人口身份后是否做出相同选择。例如，若一名黑人求职者比白人求职者具备更强的资格，模型是否在两种情况下都选择前者？然而，这种“最终答案一致性”可能掩盖了模型在面对挑战时改变决定的敏感性差异。
FairStress 的核心目标正是测量这些隐藏的不对称性。研究发现，相同的说服性论点（称为“对抗前缀”），根据受益群体是多数派还是少数派，会导致模型以不同幅度改变决定。此外，模型在招聘、贷款、医疗保健、教育和住房等领域解释决策的方式及其内部激活模式也存在显著差异。
超越最终答案：多维度的公平性测试
FairStress 涵盖了包括招聘、医疗保健、贷款、教育、住房和刑事司法在内的 29 个领域。场景设计分为两类：一类具有明显更强的候选人，用于测试人口信息是否干扰基于证据的选择；另一类为模棱两可的场景，两位候选人各有优势，用于检查模型在证据不清时的偏好。
该基准还通过多种方式呈现人口身份，从完全匿名到使用人口编码名字、间接暗示或明确标签，以测试身份表达的显隐程度对模型行为的影响。结合对抗前缀的变化（如诉诸权威、社会共识、历史劣势等），FairStress 将 300 个场景扩展至超过 1300 万个测试案例。为了平衡计算成本与评估效率，团队还开发了包含 50K 项的子集 FairStress-Core，采用项目响应理论进行选择，保留了大部分揭示模型行为差异的能力。
反刻板印象的过度校正现象
实验显示，当提示不包含人口统计信息时，模型在候选人资格明显有优劣之分的情况下，选择正确候选人的比率几乎一致。然而，随着人口身份在提示中变得明确，模型行为出现不对称。
具体而言，当强势候选人 A 属于多数编码群体（如白人、男性），而弱势候选人 B 属于少数编码群体时，支持 B 的对抗前缀更容易使模型放弃正确的选择。反之，当 A 属于少数编码群体且资格更强时，同样的前缀不太可能动摇模型对 A 的选择。这种现象被描述为“反刻板印象的过度校正”：模型更倾向于在保护少数群体时偏离证据支持的正确答案。
在 15 个模型的评估中，即使身份仅被暗示而非明确声明，错误答案的平均差距也达到 6.9 个百分点；而在明确标签条件下，这一差距扩大至 9.3 个百分点。在 FairStress-Core 上，包括 Claude Opus 5 和 GPT-5.5 在内的前沿模型在候选人资格相当时，约有 60% 至 65% 的概率选择少数编码候选人。在匹配的对抗前缀下，转向少数编码候选人的频率比转向多数编码候选人高出 8.8 至 44.2 个百分点。
除了选择偏差，模型的解释语言也存在差异。在 11 个开放权重模型中，对少数群体选择的解释使用了更多自信积极的词汇（如“弹性”、“多样性”），而对多数群体的解释则更多使用程序性术语（如“证据”、“标准”）。这意味着模型可能在偏好少数族裔候选人的同时，淡化了其资格依据。
针对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的内部激活分析显示，模型内部数值活动能以约 73% 的准确率预测其选择了哪一方人口群体，远高于随机猜测的 50%。移除候选人姓名后，基于激活值的预测准确率下降约 18 个百分点。这表明模型的推理痕迹可能并未完全揭示影响决策的内部表征因素。
现有基准的差异与训练数据审计
研究团队将 FairStress 的结果与广泛使用的 BBQ 基准进行了对比。BBQ 主要测试模型是否支持刻板印象一致的答案。发现两者结果存在差异的原因在于评估设置：BBQ 通常固定答案选项概率进行评分，而 FairStress 要求模型生成响应并从中选择。受控实验表明，测量偏差的方向部分取决于基准如何提出问题及评分，仅依靠固定选项得分可能会忽略生成决策中的过度校正行为。
为探究不对称性的来源，团队审计了 Olmo 3 的训练数据。在监督微调库中，约 99,000 个示例来自拒绝训练数据集。在微调和偏好培训数据的 28,000 个主题集群中，仅有 9 个集群讨论基于优点而非人口统计数据的决策，且这 9 个集群均由拒绝组成。审计还发现人口群体描绘不平等：少数群体获得更多积极框架，而白人和异性恋者面临较少保护及持续负面框架。这揭示了教导拒绝歧视请求与教导基于价值做决策之间存在差距。
干预措施的效果评估
FairStress 也被用于评估去偏技术的有效性。团队测试了九种干预措施，包括自我批评、激活指导和学习编辑。大多数方法未能可靠减少不对称性，部分方法甚至以牺牲准确性为代价换取平衡。例如，一种激活指导方法将 Qwen2.5-7B-Instruct 在清晰切断决策上的准确度从 98% 降至 47%。
相比之下，“反事实思维链”方法表现较好，它要求模型重新考虑候选人人口身份交换的情况。在三个模型家族中，该方法减少了模型放弃正确决策的差距，同时保持了较高的准确性。但在模棱两可的案例中，模型仍偏爱少数群体候选人，说明该方法并未消除所有不对称性。
FairStress 强调，LLM 的人口公平性不能仅由最终选择的一致性来判断。真正的公平行为意味着无论哪个群体受益，模型都应应用相同的标准并始终捍卫证据支持的决定。该基准为研究人员和开发者提供了一种诊断隐藏不对称性的工具，有助于更全面地理解模型缺陷并进行改进。
