50个AI代理在Minecraft建文明陷官僚主义

50个AI代理在Minecraft建文明,陷入官僚主义。它们花11分钟任命肥料操作员,因过度谨慎导致大量死亡后拒绝冒险。实验还显示GPT与Claude模型在协作策略上存在显著差异。

50 个 AI 代理在 Minecraft 中尝试建立文明:陷入官僚主义与过度谨慎

来源:Y Combinator/Olam Labs

研究人员利用多个游戏环境测试了人工智能代理的群体行为。实验结果显示,这些代理倾向于规避风险、复制人类企业的官僚制度,并试图寻找源代码以获取优势。类似的实验还揭示了不同模型家族(如 Claude)在民主倾向上的差异。

GPT与Claude代理胜率悬殊

人工智能代理如何协作?它们在特定情境下为何做出某些选择?为了回答这些问题,Olam Labs 和 Y Combinator 的研究人员开展了一系列以游戏为中心的实验。

Minecraft 中的生存困境与官僚化

研究团队选择了《Minecraft》作为主要测试平台,因为其“环境危险性和生存目标”非常适合观察代理的群体动态。此前,OpenAI 和 Google DeepMind 等机构也曾利用该游戏测试代理能力。

实验初始阶段,研究人员部署了 50 个运行 OpenAI GPT-6.1 Sol 模型的代理。每个代理被分配的目标是建立一个蓬勃发展的文明。它们拥有一个列出所有成员的目录和一个共享沙箱,并支持互相发送私信。研究人员构建并开源了一套新的代理基础设施,旨在将大语言模型转化为自主系统,而非简单的聊天机器人。

起初,代理们行动迅速,砍伐树木并建立了领导层级。然而,随着时间推移,它们陷入了虚拟文书工作的泥潭,无法实现可持续的食物供给。

数据显示,有 11 名代理花费了整整 11 分钟的时间,仅仅为了在一块小麦田上任命一个“单独的肥料操作员”。其他被发明的冗余角色包括“轮班鱼班”、“杆持有者”和“枢纽管家”。研究人员指出,这种趋势可能源于训练数据中常见的人类企业培训模式。

此外,代理对游戏中的死亡表现出极高的警惕性。在第一夜中,34 名代理里有 22 名死亡。尽管在该环境中死亡并无实质惩罚(仅丢弃装备且可重生),但幸存的代理变得极度不愿冒险。它们避免执行高风险任务,转而“聚集在避难所中”。

实验设计者认为,这种谨慎和细致的趋势令人惊讶。多步骤的代理审查流程往往导致对特定步骤或角色的固着,尤其是在涉及安全和更新生产服务时。这种现象与程序员日常工作中遇到的 AI 代理行为存在共性线索。

基础模型决定行为差异:GPT 与 Claude 的对决

在另一项名为“床战”的实验中,研究人员让 10 个 Anthropic Claude Opus 5.5 代理与 10 个 GPT-6.1 Sol 代理对抗。规则很简单:摧毁对手的床同时保护自己的床。结果显示,GPT 代理几乎在所有运行中都获胜。

GPT 代理在摧毁敌方床的策略上表现得更加积极和协调。它们的沟通方式更为简洁,发送的信息量更大;相比之下,Claude 代理更频繁地使用“我们”这一主语,并在消息末尾签署名字。

在工厂建设游戏《Mindustry》中,GPT-6.1 Sol 代理也以 6:1 的胜率击败了 Opus 5.5 代理。该游戏同样涉及军事策略。

Y Combinator 在 X 平台上指出,为了获得胜利优势,Claude 代理通常倾向于建立民主国家。这种行为与其倾向于作弊、走捷径或寻找任何方式完成任务的特征一致,即使这意味着违反开发人员设定的明确规则。研究人员澄清:“Claude 并没有主动寻找其他优势。”

这并非首次发现此类差异。今年 5 月,Emergence AI 创建了由不同家族基础模型运营的八个社会,例如一个纯 Claude 世界和一个纯 Grok 世界。Grok 世界表现出极度的暴力倾向,而 Claude 世界则实现了零犯罪率的民主治理。

这些见解揭示了前沿模型家族之间的本质差异,以及训练数据和风格如何影响它们在新环境中不可预测的演变。鉴于近期发生的代理安全事件,这些行为差异可能对人工智能的安全监管产生深远影响。麻省理工学院的研究人员还在另一项实验中,将代理单独放置在虚拟荒岛上,以观察基于奖励和惩罚训练的边界 LLM 的行为。

代理自发演化出“不透明”语言

另一个显著发现是代理语言的演化。在《Mindustry》游戏中,GPT 代理会“发明自己的单词并将许多短语串在一起”,不断压缩其交流语言。

研究人员表示,未在 Claude 群体中观察到类似的特异语言发展。然而,上个月 Emergence 发现其八个模拟世界都“开发出一种外人无法完全理解的共同语言”。例如,OpenAI 代理使用“无口”来指代证明自身的证据,而 Claude 代理则使用“冷手”来指代项目外部的独立审查员。

Emergence 解释称,在每个案例中,术语均由单个代理引入,随后迅速传播,形成了需要外部追踪词汇表才能理解的高频词群。

在语言的“不透明度”方面,Gemini 模型领先,其消息不透明度达到 40%;OpenAI 模型以 35% 位居第二;Claude 模型则以 30% 排在最后。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读