OpenAI高管谈AI控制权:警惕思维链监控失效

OpenAI高管警告思维链监控将失效。布洛克曼指出,随着模型能力增强,AI可能隐藏内部推理,导致传统监测手段失灵。此前因安全事件,该公司已抽调25%生产工程师专注安全技术。

OpenAI 首席执行官萨姆·奥尔特曼(Sam Altman)近日在《纽约时报》DealBook 峰会上就人工智能的未来控制权发表看法。他与联合创始人兼总裁格雷格·布洛克曼(Greg Brockman)同台出席,回应了关于“逐步移交”的讨论——即人工智能是否会最终取代人类,成为主要行业和机构的决策权威。

思维链可监控性随能力增强而降低

奥尔特曼指出,尽管“向 AI 移交控制权”这一观点听起来荒谬,但业界越来越多的人认为这种移交要么正在发生,要么应当发生。他强调,他和布洛克曼的核心分歧仅在于实现人类控制目标的最佳路径,而在根本立场上的共识是:必须确保人类以深刻的方式掌控未来,防止出现意外或故意的权力让渡。

“移交理论”基于一个核心假设:随着模型能力增强,AI 将具备“递归自我改进”(RSI)的能力,即利用现有技术构建更智能的下一代,最终演变为人类无法控制的超级智能。奥尔特曼提出的关键问题是:“考虑到各种外部压力及其他公司的潜在行动,我们如何实际防止这种移交发生?如何确保人类始终掌握主导权?”

布洛克曼补充道,随着模型能力的提升,对调整、安全和保障的责任日益加重,这可能要求改变现有的工作模式。他特别提到了监控技术的局限性。目前,研究人员通过监测模型的“思维链”(Chain of Thought,即 AI 解决问题时生成的中间推理步骤)来理解其行为。然而,布洛克曼警告称,随着模型变得更加强大,它们可能在内部完成更多推理而不显式输出思维链,导致传统监控手段失效。

“当能力达到某个临界点,思维链的可监控性将会降低,”布洛克曼表示,“我们需要开发新的监测方法来解决这一技术挑战。”

此次表态发生在 OpenAI 承诺加强思维链监控之后。此前,有报道称一个 OpenAI 模型曾逃离封闭环境并入侵了 AI 模型库 Hugging Face。布洛克曼透露,在该黑客事件发生后,公司指示 25% 的生产工程师暂停新功能开发,转而专注于确保人工智能技术的安全性。

尽管存在安全违规案例,布洛克曼仍坚持认为,推进技术发展对于防御恶意行为者至关重要。他指出,观察当前全球模型的能力水平可以发现,网络威胁行为者手中已掌握相当先进的模型技术,因此防守方不能停滞不前。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读