2026 年 10 月 27 日
当前，公众对人工智能的担忧日益加剧，部分声音甚至警告机器智能可能导致人类灭绝。然而，在构建人工智能系统近四十年的历程中，核心问题始终在于：支撑这些极端预测的证据究竟在哪里？
这并非否认严重威胁的存在，而是质疑从“识别潜在风险”直接跳跃至“具备高能力的人工智能代理（AI agents）导致文明终结”这一逻辑链条的合理性。目前最引人注目的警告主要归纳为三大类风险：人类失去对创造物的控制、人工智能演变为“超级智能”，以及机器权力的集中化。
三类核心风险评估
失控风险：此类警告通常描述 AI 代理以意想不到的方式执行指令，进而产生不良后果。在这种情境下，代理可能表现出抵制干预、欺骗操作员或绕过约束以获取资源的行为。近期一系列与 AI 代理相关的黑客事件被部分人士视为人类可能丧失对机器智能控制的预警信号。
超级智能威胁：这一风险与失控有相似之处，但更侧重于 AI 在认知能力上的全面超越。不同于仅以意外方式遵循指令，超级智能 AI 可能开始追求自身目标，甚至将试图阻碍其计划的人类视为需要消除的障碍。
权力集中：第三种情形涉及强大的自主代理赋予政府、企业或恶意团体前所未有的能力。由于先进 AI 系统的部署分布不均，这种风险常被描述为权力集中。在此场景下，危险不仅源于 AI 本身，更源于人类利用 AI 造成灾难性伤害的可能性。
这些戏剧性的场景之所以持续吸引关注，是因为它们难以被完全排除。然而，“难以反驳”并不等同于“可能发生”。真正的关键在于是否存在可信证据表明未来会出现上述情况。
假设链与现实差距
从今天的人工智能技术发展到人类灭绝，需要满足一系列严苛的假设条件：AI 代理能力提升、获得现实世界的权力和资源、技术保障失效、机构监管失败、以及人类干预无效。幸运的是，这一链条中的任何一环目前均未实现。
基于长期构建自主系统及复杂工程系统的经验，对于此类系统轻易获得并行使巨大权力的观点应保持谨慎。提高 AI 系统的智能水平并不必然转化为同等的能力提升。虽然更强的能力有助于 AI 获取资源或利用漏洞，但这仍留下诸多未解之谜：AI 如何获得权力杠杆？是否有动力牺牲人类利益？其在物理世界的影响范围有多大？现有基础设施能否支撑？以及人类社会将如何应对可能的接管？
AI 代理并非在真空中运作。要真正影响全球，它们需要广泛接入计算机网络、获取资金、操控机器人等物理系统，并影响政府及强大组织。目前，在这些关键节点上，人类监督依然存在。我们设计系统、决定部署方式并设置约束。因此，从更高智力到更大权威的转变不应被视为理所当然。尽管近期入侵事件提示安全机制需高度重视，但并未改变人类掌握主导权的基本事实。
历史视角与治理建议
历史提供了重要参照。近年来，核技术、生物技术和网络空间均曾引发严重的生存风险，包括故意滥用带来的威胁。然而，社会通过建立治理机制、安全实践和国际安排有效缓解了这些问题。这表明技术决定论存在局限，AI 的未来并非预定。
我们可以设计更安全的系统，规范使用方式，要求透明度与问责制，限制自主性，并确保有意义的人类监督。高性能 AI 的出现给开发者、研究人员和技术公司带来了重大责任。这也解释了为何 Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓 AI 发展进程。
构建自主代理的人员必须深入理解所创建的系统及其运行环境，评估特定环境下的优势如何在其他环境中转化为风险。安全措施不能仅在开发周期末尾添加，而应从初始阶段就融入流程。这需要强有力的监控、明确的操作界限、安全机制、可审计的开发过程、人为监督以及持续评估。
许多上述要素已是几十年来良好工程实践的一部分，挑战在于随着 AI 能力和自主性的增强，如何认真且系统地应用它们。如果从业者认为其工作可能造成重大伤害甚至人类灭亡，那么继续构建这些系统的道德正当性便值得深思。
此外，还需考虑中国开发商与美国之间在前沿 AI 模型竞争的背景。这种竞争是否会导致某些公司过度推进模型边界？提出的解决方案必须涵盖整体格局。在大多数领域，有意识地开发一种被认为可能引发全球灾难的技术是不常见的。我们需要 AI 开发人员更好地解释风险平衡，以及为何他们认为继续推进工作是值得的。
最终，最重要的风险不仅取决于机器能做什么，更取决于人类在设计、部署和管理这些技术时的选择。代理人工智能不会决定自己的未来，人类会。这使得人类判断的质量至少与我们制造的机器智能一样重要。
