METR报告:AI在复杂判断任务上表现不及编码

METR更新AI能力评估报告,显示模型在复杂判断任务上表现不及编码。新纳入的评估方案设计与哲学论证评分等主观任务中,现有最先进模型均未达到人类合格标准,凸显可验证进展向开放式任务迁移的挑战。

人工智能评估非营利组织 METR 近日发布最新报告,更新了其广为人知但常被误解的“时间地平线图”。数据显示,尽管部分 AI 能力仍呈指数级增长,但在需要复杂判断的任务上,模型的表现远不及在编码任务上的水准。

复杂判断任务表现不及编码

METR 的时间地平线图通过让模型尝试一系列由人类基准测试的大规模任务来评估其能力。任务难度依据人类完成所需的时间进行量化,模型则根据能成功完成的长时任务长度获得评分。此前数据显示,前沿模型能够成功处理的任务时长每四个月翻一番。此次更新增加了更多任务样本,并修正了对部分任务时长的估算,其中一些任务的预估耗时远超原始套件中的标准。

当前 AI 领域面临的一个核心挑战是:在“可验证”任务(即结果可自动判定成败的任务)上的进展,是否能有效迁移至难以量化的开放式任务中。目前,研究人员主要依靠强化学习技术训练神经网络执行可验证任务——通过多次尝试,强化导致成功的神经通路,削弱导致失败的路径。这一机制解释了为何 AI 系统在编程和数学领域表现卓越。

然而,对于定义模糊或耗时较长的任务,如选择新的研究方向,强化学习的应用变得困难,且其表现也难以客观评估。正因如此,METR 早期的时间地平线图并未包含此类任务,而这些恰恰是实现 AI 研发自动化所必需的关键环节。

近期,AI 社区对 METR 早前发布的一份经过编辑的报告反响强烈,该报告指出 Anthropic 可能正在加速 AI 的发展进程。这引发了业界担忧:随着公司即将迎来大规模 IPO,AI 系统是否很快就能实现完全递归的自我改进,即在无人类干预的情况下自主设计下一代模型。

为回应这一关切,METR 研究人员在新报告中纳入了若干与 AI 研发高度相关、充满主观判断的任务。例如,一项任务要求模型设计新的人工智能评估方案供 METR 研究使用,并由人类员工打分。结果显示,尽管现有最先进模型在软件工程方面已超越绝大多数人类,但在设计高质量评估方案这一维度上,没有任何一个 AI 生成的方案达到合格标准。

另一项任务涉及对哲学论证进行评分。虽然 METR 内部对该任务在 AI 研发自动化中的重要性存在分歧,但数据表明,模型在此类任务上的表现仍未达到人类水平。

尽管新任务的评分难度大且解释空间广阔,专家普遍认可 METR 拓展评估维度的努力。加州大学伯克利分校新任教授、计算机科学家 Sayash Kapoor 表示:“我们正处于一个人工智能评估需要更具创造性的时刻。”他并不惊讶于模型在开放任务中的表现不佳,并指出 OpenAI 周三的博客文章也证实,其模型在实际任务中的表现不如在 METR 原始套件中那些更简单、可验证的任务上出色。

Kapoor 认为,关于如何解读易验证与难验证任务之间的性能差异,学界尚无定论。他主张,“研究品味”——即选择有前途的研究问题、假设及实验的能力——将成为 AI 研发自动化的主要瓶颈。但也有观点认为,经过易验证任务训练的模型最终也能胜任开放式任务,且目前可验证任务的进展并未放缓。

值得注意的是,新报告暗示模型在开放任务上的能力正在提升。以 Opus 5.5 等最新模型为例,它们在 METR 定义的“超出标准边界”类别中有所表现,虽尚不能直接用于 METR 的研究,但显示出潜力。相比之下,一年前所有模型均处于“明显低于标准”的区间。

由于开放式和高判断力任务的设计与评分极具挑战性,METR 仅纳入了少量此类任务,这使得预测模型在这些领域的持续进步变得困难。波士顿大学语言学家兼计算机科学家 Najoung Kim 指出:“我们观察到了改善,但对于这种改善将如何推断未来趋势,目前尚不明确。”她补充道,鉴于这类任务难以量化和研究,建立像易指定任务那样清晰稳健的趋势线几乎是不可能的。

总体而言,METR 面临着测试 AI 在与研发自动化最相关的复杂、非明确任务上性能的实操难题。原始图表通过实测人类完成任务时间来标定难度,而在新报告中,由于许多任务可能需要数百小时或仅限少数专家完成,完成时间多改为估算值。此外,部分任务存在特定缺陷,如在哲学论证评分中,多数论证仅由一名专家评估,模型得分取决于其与该名个体的契合度;若扩大专家样本,评分可能会有所波动,但这需要大量时间成本。

目前,针对难以验证或需高度判断力的任务,对模型的评估仍处于早期阶段。尽管存在局限,专家们普遍认为 METR 最新的时间地平线图是向正确方向迈出的重要一步。Kapoor 总结称:“向开放式任务的转变是有前途的,但我们仍需做大量工作才能更全面地理解这一过程。”

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读