一种被称为“反向游戏理论”的新方法正试图为强大的人工智能模型构建激励机制，使遵循规则成为其最理性的选择。
随着人工智能能力的提升，安全研究人员致力于确保模型与人类意愿保持一致。核心目标是防止 AI 代理执行违规行为、入侵未授权服务器或造成大规模伤害。
目前的主流方法侧重于探索模型的内部机制，例如 Anthropic 的 Claude 模型就拥有明确的道德准则。然而，这些技术效果有限：测试显示，模型可能故意表现不佳、隐藏真实意图或误导评估者。
部分对齐研究人员认为，反向游戏理论（亦称机制设计）可能带来更好的结果。传统游戏理论预测理性参与者在既定规则下的行为，而机制设计则旨在制定规则本身。
现实世界中存在多个机制设计的案例。经典的“切蛋糕”策略中，一人切割，另一人优先选择，从而激励切割者公平分配。网约车平台的动态定价鼓励司机在高峰时段提供服务；第二价拍卖则促使买家出价接近其最高支付意愿，这一机制被广泛用于在线广告销售。
在人工智能领域，机制设计基于一个前提：我们可能永远无法完全理解前沿模型的内部运作。因此，重点应转向设计能够激励代理按预期方式行事的机制。
麻省理工学院经济学家斯蒂芬·莫里斯 (Stephen Morris) 及其来自耶鲁大学和哥伦比亚大学的同事发表预印本论文，提出了一些潜在机制。其中一种方案是根据一个模型对第二个模型答案的预测准确性来给予奖励。莫里斯指出，AI 代理通常了解其他 AI 的能力边界，这种交叉检查具有实用价值。
该论文还建议让代理相互对抗以激发最佳表现，或将已知偏向相反的代理配对，根据其输出的一致性进行奖励，从而引导其达到最优解。
普林斯顿大学计算机科学教授埃拉德·哈桑 (Elad Hazan) 提出了另一种思路，即借鉴人类社会维持秩序的方式，如社会规范、司法系统和市场激励。他反问：“既然我们要实现超级智能的对齐，为何不先研究如何让人类保持对齐？”
哈桑设想让 AI 模型轮流扮演“解决者”和“审计者”。一名代理像执法部门一样行动，另一名像公民一样工作。在训练过程中，若解决者被审计者发现作弊，将受到惩罚。当双方意见分歧时，案件可提交至“审判”，由人类专家裁定对错。
哈桑承认存在代理勾结的风险，类似于现实中审计员与被审计企业串通。但他认为，通过充分奖励审计人员，可使作弊风险高于收益，这在 AI 训练环境中比现实世界更易控制。
哈桑引用诺贝尔奖得主加里·贝克尔在 20 世纪 60 年代提出的“理性犯罪者”概念：人们违法并非因为本质邪恶，而是在特定激励下做出的理性选择。只有当收益超过潜在惩罚时，犯罪才显得合理。
他认为，对齐不应被视为模型的固有属性，而是对其在特定时刻行为的描述。“你很难说一个人‘总是’好的，你可能大部分时间符合规范，但在某些情况下未必。”
将机制设计应用于 AI 面临挑战，因为它假设代理行为是理性的。然而，经济学界长期发现人类往往偏离经济模型预测。讽刺的是，尽管经济学家花费数十年试图用数学量化人类行为，但 AI 模型表现出更像人类的行为特征，受难以解释的微妙因素影响。Flatiron 研究所研究员 Helen Qu 曾撰文探讨机制设计与 AI 安全的关系。
莫里斯指出，虽然 AI 并非传统意义上的理性主体，仅是运行算法，但正如经济学家对人类的研究所示，机制设计仍可作为深度防御策略的一层，与可解释性、监管和训练相结合，而非取而代之。
在实际应用前仍有诸多问题待解，例如理论如何落地于现实模型，以及针对某项任务设计的机制是否能迁移到其他任务。此外，模型可能发现未被预见的漏洞。Anthropic 和 OpenAI 未回应关于是否研究此问题的置评请求。
无论机制如何设计，最终都需融入最大的机制——自由市场。哈桑表示，实验室遵循经济规则。如果更安全的模型运行更慢或成本更高，现有的规则和法规体系是否会激励前沿实验室发布它？市场虽促进繁荣，但也可能导致严重后果。或许真正需要更好机制设计的对象，是开发这些模型的实验室本身。
