OpenAI 首席科学家 Jakub Pachocki 近日发布博客文章,深入探讨了人工智能发展的潜在局限性及衡量标准。

此前,一位前 OpenAI 和 Anthropic 研究人员曾警告称,这些公司正在“赌上我们的生命”。Anthropic 的 IPO 文件也暗示该技术可能对社会构成“灾难性或生存风险”。
针对这一担忧,Anthropic 首席执行官达里奥·阿莫代(Dario Amodei)推出了名为“超越前沿”的计划。该计划获得了 OpenAI 首席执行官萨姆·阿尔特曼(Sam Altman)和 SpaceX 首席执行官埃隆·马斯克(Elon Musk)的支持。阿莫代呼吁企业共同制定安全标准,并对未经控制的人工智能发展速度实施限制。
然而,要设定速度限制,首先需要确立统一的衡量指标。帕乔基的文章被阿尔特曼评价为“OpenAI 最近发布的最重要内容”,其中提出“困惑度”(Perplexity)可能是关键的测量标准。
在帕乔基看来,关注人工智能下游能力的基准测试往往随着技术进步而迅速过时。相比之下,困惑度用于衡量模型预测下一个代币的平均准确程度,数值越低代表预测能力越强。
数据显示,自 GPT-3.5 以来,OpenAI 模型的困惑度持续下降。
帕乔基写道:“GPT-4 在约 0.91 岁时,擅长有效地利用思维链推理,这促使随后有针对性地提升了这种能力并创建了现代推理模型。现在,由于损失低于 0.8,我们已经看到网络安全和数学等领域的变革性能力的出现。”
基于此,他认为困惑度可以作为“通用智能共享基准”的基础,供人工智能公司建立“共同的界限”。当困惑度成为衡量人工智能进步的标准时,公司将承诺不超过一定的门槛,直到人类理解和监测人工智能行为的能力达到特定的里程碑。





