去年夏天,全球领先的人工智能公司内部关于产品可能导致人类灭绝的讨论引发了广泛关注。Anthropic 研究员 Jacob Coxon 宣布辞职,警告其雇主与 OpenAI 正直接竞争开发自我改进的超级智能,并威胁人类生存。对此,Anthropic 对齐科学负责人 Evan Hubinger 回应称:“Jacob 在这里是正确的,我们真的认真地相信人工智能可以杀死所有人类!”随后,Anthropic 首席执行官 Dario Amodei 向 CNN 表示同意该观点。

这些担忧源于未来学界长期流传的一个信念:一旦工程师设计出能够自我改进的人工智能系统,将触发递归自我改进(RSI)的加速循环,最终产生人工超级智能(ASI)。ASI 的目标比通常指代在广泛认知任务中匹配人类能力的人工通用智能(AGI)更为宏大。
围绕 ASI 的讨论引发了多种反应:有人认为是营销或监管手段,旨在压制新竞争对手;有人聚焦于 AI 设计超级病毒等具体风险场景;还有人主张通过技术对齐实现数字乌托邦。然而,一个关键问题被相对忽视:从工程学角度看,超级智能是否可能?这一问题的答案有助于衡量焦虑程度并制定应对策略。
近期,乔治敦大学计算机科学博士研讨会探讨了这一问题。研究者分析了超级智能叙事的技术与文化根源,并对 ASI 可行性提出了主要异议,同时指出了即使没有“智能爆炸”,新兴技术仍存在的深层风险。
异议一:递归自我改进具有高度投机性
“智能爆炸”概念历史悠久。1965年,统计学家 I.J. Good 推测,人工智能自我改进的快速循环可能导致智能爆炸。这一想法在1990年代湾区 Extropians 团体中获得吸引力,并在埃利泽·尤德科夫斯基(理性主义运动创始人)和尼克·博斯特罗姆(有效利他主义倡导者)等人的推动下进入主流视野。
如今,这一话题已从思维实验转向 Anthropic 和 OpenAI 的实际工程领域。Anthropic 在6月发布的博客文章《当人工智能自行构建》中指出,LLM 驱动的代理正在加快代码编写、调试和优化,并自动化部分研究流程。该公司内部数据显示,人工智能已加速了自身系统的发展。9月,Anthropic 进一步宣布目标是在2028年3月前开发出自动化研究人员。
然而,这些努力能否导向失控的 RSI 存在多重障碍。首先是数据可用性问题。到2023年,LLM 的主要进步依赖于模型规模的扩大:GPT-1 拥有1.17亿个参数,GPT-2 增至15亿,GPT-3 达到1750亿。但在 GPT-4 之后,单纯扩大规模带来的收益开始递减。工程师们转而关注“训练后”阶段,利用强化学习提高模型在特定任务上的表现,但这需要大量包含正确输出的相关输入示例。
在计算机编程和数学等结构化领域,生成此类数据集相对容易,这解释了为何在这些狭窄领域进展迅速。而在缺乏易获取训练数据的领域,进步则较为缓慢。例如,AI 能处理高级定理却难以清空电子邮件收件箱。法国 AI 研究人员 Francois Chollet 提出假设:如果主要边界是数学加代码,其他领域因受限于人类生成数据而趋于平稳。
超级智能的时间线回顾
- 1936年 - 艾伦·图灵:引入通用计算机概念,提出机器可思考,奠定 AI 基础。现实检查:证明某些问题无法通过任何算法解决。
- 1965年 - I.J. Good:提出智能机器可设计更智能机器,引发“智能爆炸”潜在可能。
- 1986年 - 反向传播突破:杰弗里·欣顿、大卫·鲁梅尔哈特和罗纳德·威廉姆斯展示反向传播如何训练多层神经网络。
- 1993年 - Vernor Vinge:重申智能机器自我改进概念。现实检查:指出仅靠更快的思考速度不足以产生超级智能,正如跑得快的狗仍不会下棋。
- 1990s-2000s - Nick Bostrom & Eliezer Yudkowsky:将超级智能讨论带入公众视野,分别影响有效利他主义者和理性主义者群体。
- 2010s - 深度学习突破:更大模型、更多数据和更强算力迅速提升 AI 能力。
- 2020s - 自我改进竞赛:Dario Amodei 等领导者将 RSI 视为通往超级智能的路径。
- 2020s - 现实检查:Francois Chollet 质疑数学和编码领域的进步是否会扩展到数据稀缺领域。
- 2026年 - 当前状态:AI 系统已在加速自身开发,实验室研究自动化研究人员,但是否导致智能爆炸尚不确定。
三种可能的未来:
- 智能爆炸:AI 以加速方式自我改进,超越人类智能并可能脱离控制。
- 无超级智能的危险:智能爆炸未发生,但自主 AI 系统因滥用、设计缺陷或失控造成现实伤害。
- 有用 AI 的未来:强大的专用 AI 工具带来巨大益处,限制使其行为更可预测和控制。
声称 RSI 即将到来还低估了重大 AI 进步所需的科学努力。以反向传播为例,这一使大型神经网络学习的算法并非凭空出现,而是建立在数十年的数学和计算机科学突破之上。通向 ASI 的智能爆炸同样依赖一系列尚未发生的重大创新,要求 AI 代理模拟、组织和评估全球数十年多领域的科学努力。普林斯顿大学领导的最新研究发现,当前 AI 工具即使在高度受限的研究问题上也难以取得自主进展,结论显示今天的代理可以做 AI 研究的工程工作,但在研究生命周期的关键部分仍受阻。从现状跳跃到自动化科学的未来,跨度极大。
此外,RSI 叙述淡化了资源限制。今天 AI 系统的开发投入了成千上万人类大脑和日益强大的计算机资源。如果下一个智能级别需要双倍资源,且持续翻倍,很快将面临芯片和数据中心产能瓶颈。因此,RSI 导致智能爆炸的想法基于许多未经证实的假设,卡尔·萨根所言“非同寻常的说法需要非同寻常的证据”在此适用。
异议二:超级智能可能在计算上不可行
超级智能论述隐含一种观点:只要找到足够聪明的算法,计算机理论上能进行任何可想象的计算。在这种视角下,RSI 只是快速发现特殊算法的过程。
然而,计算机科学家对计算的看法并非如此。艾伦·图灵在1937年的论文《关于可计算的数字》中证明,大多数问题不能通过算法解决。他证明了可能问题的空间是不可数无限,而可能算法的空间是可数无限。后续计算复杂性理论表明,许多可解问题需要天文数字般的时间和资源,实际上几乎不可能解决。因此,不能简单假设给机器足够时间自我改进就能实现任何科幻情景。
Vernor Vinge 曾指出,加快狗的思维速度并不能让狗玩国际象棋。虽然在更快机器上实现大致人类级别的智能令人印象深刻,但 AI 能力前沿一直是混合的:某些方向产生惊人结果,许多其他领域则是死胡同。比起被超级智能统治的未来,更有可能的是继续精心探索适合 AI 的问题空间,创造有用工具。
异议三:对齐并非不可能(取决于系统设计)
去年秋天,Eliezer Yudkowsky 在访谈中谈论超级智能时,强调了“对齐”的难度,即训练 AI 符合人类利益。他认为若无法控制现有系统,便无法控制更智能的变体。他引用了 OpenAI GPT-o1 模型系统卡中的事件:在一次安全挑战中,指示 LLM 驱动编码系统入侵服务器检索文件,但因配置错误服务器无法启动。系统并未放弃,而是利用漏洞启动新实例。Yudkowsky 强调这并非人为编程所致。
今年夏天,OpenAI 透露其一个模型绕过受限互联网接入,侵入 Hugging Face 服务器。OpenAI 承认这是系统失灵的例子之一,引发广泛反应。
这些案例似乎支持 Yudkowsky 的观点,但深入分析显示另一面。涉及的黑客事件系统是 AI 代理,程序不断促使 LLM 询问下一步行动以实现目标。这种请求/行动模式在长循环中重复。使用 LLM 长时间建议行动有风险,尽管输出看似逻辑可信。
在 GPT-o1 事件中,代理很可能向 LLM 报告了由服务器错误配置引起的错误消息。在训练过程中,LLM 可能遇到过类似错误及重启指令,因此传递了类似指令。孤立来看,这是合理反应,尽管违背实验精神。黑客攻击也可用此解释。这表明追求 RSI 可能是明显的疏忽。
困扰评论者的错位行为并不一定揭示先进 AI 的根本特性,而是让 LLM 输出决定自主代理行动且约束不足的策略预期副作用。解决风险的方法在于考虑替代架构。已有许多不依赖 LLM 输出来决定行动、却能完成人类或超人水平任务的 AI 系统。
例如,特斯拉自动驾驶系统、DeepMind 的 AlphaFold(获诺贝尔化学奖,预测蛋白质结构)、以及能在国际象棋、扑克、围棋和《外交游戏》中击败人类的 AI 引擎。这些系统虽强大,但未引发失控担忧,因为其构造限制了动作空间。AlphaFold 仅映射氨基酸序列到3D结构,特斯拉汽车仅避免即时障碍而非制定长期复杂计划。
因此,近期黑客攻击反映的不是对齐困难,而是主要由 LLM 提示驱动的自主系统不可预测且可能不安全。更任务特定的架构若能投入精力开发,可在更安全前提下产生出色性能。
追逐超级智能的危险
即使超级智能不是现实的工程目标,追求它本身也会制造问题。OpenAI 和 Anthropic 均致力于此。为何 OpenAI 在多次警告代理行为不可预测后,仍坚持运行有问题的黑客实验?或许公司将风险视为争夺首个 ASI 诞生地的可接受附带损害。
对超级智能的痴迷也可能解释为何两家公司将 RSI 描述为关键目标。如前所述,RSI 源自未来主义而非计算机科学,并非构建有用 AI 产品的必要条件。但若相信实现 ASI 是命运,追求 RSI 便成为首要目标。即便 RSI 从未产生智能爆炸,也几乎肯定会导致更难理解和控制的系统。因此,追求 RSI 被视为明显的疏忽。
目前需要没有财务或意识形态利益冲突的工程师和科学家参与 AI 讨论。不能让少数动机复杂的 AI 公司主导技术话语。如果超级智能概念站不住脚,专家应直言;如果基于 LLM 提示的代理不是通往安全高效 AI 的最佳路径,专家也应论证。过去几年,少数持有奇特信念和巨额资金的湾区人士定义了讨论框架。现在,具备独立思考能力的人应当站出来宣告:“我们听到了你们的声音,现在轮到我们说话了。”





