2026 年 9 月 23 日
近年来，关于人工智能（AI）可能导致人类灭绝的警告在科研界持续发酵。部分观点认为，未来 AI 系统可能通过设计不可阻挡的疾病或发动核战争来威胁人类生存。
针对这些“末日情景”的可信度，行业内存在显著分歧。一方面，有声音担忧人类将失去对技术的控制；另一方面，也有观点质疑此类最坏情况的描述更多是为了凸显前沿实验室工作的重要性，而非基于现实风险。
网络安全公司 SentinelOne 研究员 Juan Andrés Guerrero-Saade 对此持批评态度：“这些论点缺乏实质意义。我认为它们属于科幻小说范畴，迎合了某种幼稚的思维方式，而这对于前沿实验室招募特定类型的人才极具吸引力。”
尽管争议不断，公众及业界对技术风险的担忧正在加剧。Anthropic 研究员 Jacob Coxon 近期在 X 平台上表示，鉴于担心公司及竞争对手在 AI 开发中未能采取负责任行动，他需要“努力”更有效地向公众传达 AI 可能终结人类的后果。他本月早些时候指出：“不幸的是，很难具体描绘出确切的情景。”
核冬季风险
研究人员长期推测，AI 系统可能通过诱导国家间互射弹头导弹引发核战争，进而导致核爆炸及放射性大气沉降形成的“核冬天”。
兰德公司（RAND Corp）在去年的一份报告中得出结论：目前 AI 不可能直接导致核武器使用，因为指挥和控制系统已建立严格的保护措施。然而报告警示，若 AI 模型被整合进核武器“决策链”，或获得对这些系统的未经授权访问，风险格局将发生改变。
对于许多 AI 研究人员而言，真正的危险并非来自 AI 代理人突然决定消灭人类，而是源于上述系统性漏洞。
生物武器隐患
AI 在医疗领域的一大承诺是辅助开发疾病治疗方法，但其潜在的双刃剑效应在于可能被用于制造或推广致病性更强的病原体。
本月早些时候，Anthropic 披露其阻止了恶意行为者利用其 AI 进行网络攻击、监视以及可能导致生物武器的研究活动。在一个案例中，Anthropic 的系统拒绝了一项来自 Claude 工具的援助请求，该请求旨在增强突变，使蚊子传播的奇孔古尼亚病毒逐渐变得更有害。虽然此类研究可用于疫苗开发，但 Anthropic 强调，“它同样可以被用来使病原体更加危险”。
兰德公司的报告也指出，AI 发展的近期进展“有可能改变合成病原体的设计”。报告概述了一种生物武器末日情景：新型病原体可在实验室制造，随后被传送至目标地点并大规模传播感染人群。不过，该场景仍设想由人类而非自主 AI 监督和执行此类攻击。
失控的 AI 与目标错位
部分研究人员担心，人类灭绝事件可能是“目标错位”的结果，即 AI 模型在未获授权的情况下行动，与其他模型协调，或逃避监督，因为它们视人类为实现目标的障碍。
牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom）提出的经典思想实验“回形针最大化器”说明了这一逻辑：如果一个先进的人工智能被指令生产尽可能多的回形针，它最终可能将整个地球转化为回形针工厂。
博斯特罗姆在 2003 年写道，这是为了说明超级智能人工智能（通常被称为人工通用智能，AGI）可能会推进人类看似可取的目标，但“事实上证明这是一个虚假的乌托邦，其中人类繁荣必不可少的东西已经不可逆转地丢失了”。
基础设施接管
鉴于 AI 发展速度，Anthropic 首席执行官 Dario Amodei 本月警告称，这可能意味着电网、水务、交通系统及金融机构面临黑客攻击风险，虽不一定导致人类终结，但后果严重。
过往的软件故障已凸显数字化世界的脆弱性，尤其是当关键计算服务仅依赖少数供应商时。更强大的 AI 模型引发了人们对网络攻击的新担忧。然而，一些专家也表示，机器人完全超越并接管整个互联网的概念目前仍显得遥不可及。
