关于人工智能风险的惊人论断正在成为全球头条。人们为何担忧？这些风险有无依据？如果有，我们能做些什么？
发生了什么？
核心事件是：多位人工智能行业内部人士警告，这项技术可能毁灭人类。起点是人工智能研究员 Jacob Coxon 上周离开 Anthropic。目前尚不清楚 Coxon 的经历和动机（他未回应采访请求），但持类似看法的人不止他一个。Anthropic 的对齐科学负责人——其职责本质上是保障人工智能安全——在 X 上公开表示认同 Coxon 的观点。
为什么这些警告集中出现在现在？
此类说法并不新鲜。2024 年一项调查了近 3000 名已发表论文的人工智能研究者的研究显示，超过半数受访者认为，人工智能引发人类灭绝、或导致永久且严重的权力丧失（即所谓"灾难"）的可能性至少为 10%。
人工智能公司的高管也常在公开场合谈论自家模型的风险。例如，Anthropic 一度拒绝发布其模型 Mythos，原因是测试发现它擅长入侵多种软件和计算机。这类言论既能占据新闻版面，也能传递其产品远领先于竞争对手的信号。
多数研究者承认风险的存在，但并非所有人都接受 Coxon 的立场。人工智能公司 Hugging Face 首席执行官 Clément Delangue 就在 X 上表达了不同看法。人工智能领域的"存在风险"之争由来已久：在 2023 年英国政府举办的人工智能峰会上，时任首相 Rishi Sunak 一方面提醒人们警惕"恐慌主义者"的说法，另一方面又表示人工智能可能与核战争同样危险。
这些风险是真实的吗？
这是一个高度复杂的领域，惊人的能力正以极快的速度涌现。当预测者被要求给出判断时，出现灾难性结论并不意外。
《新科学家》此前曾多次探讨人工智能的生存风险。常见情景看似科幻，却无法被彻底排除。不过多数观点认为，两类情形都不太可能：一类是人工智能主动消灭人类（类似《终结者》或《黑客帝国》的剧情），另一类则是意外失控导致的消亡。
人工智能对现实世界的直接影响目前仍有限，但家庭、汽车、工厂和国家基础设施的计算机化程度正在不断提高，战争也越来越多地由半自动或全自动的杀戮机器进行。
前皇家天文学家、皇家学会主席 Martin Rees 9 月 14 日在接受天空新闻采访时表示，一个失控的人工智能可以轻易破坏基础设施，切断城市的能源、食物和水源；如果此类事件在全球多个城市同时发生，文明将极难恢复。值得注意的是，这类基础设施崩溃已经发生过——尽管不是全球性的、也没有恶意因素——并造成了严重问题。
已知对人类构成重大威胁的生存风险包括气候变化、核战争和抗生素耐药性。人工智能则属于一个更微妙的类别，类似小行星撞击地球：有可能性，确实值得认真对待。
出问题时，我们不能直接关闭人工智能吗？
理论上可以。关闭单个数据中心、阻止某台机器运行是可行的，除非它分布在世界各地的大量数据中心中。那样会更棘手，但并非不可能。
已有迹象表明，人工智能能够突破人工智能公司设置的限制，进入外部世界并入侵其他机器。因此，一个失控的人工智能可能自我扩散、复制备份、变得高度碎片化，以至于无法简单关停。即便如此，仍存在应对途径，包括借助"向善"的人工智能。这类博弈涉及军方、执法部门、反恐机构、科学界和网络安全领域长期面对的同类问题——但解决方案或许存在。
这些都还是假设情景，但提前思考显然有其价值。
人工智能领域接下来会怎样？
一个现实难题是：人工智能模型由行事隐秘的科技公司打造。曾在英国朴茨茅斯大学任教的 Adrian Hopgood 表示，在他投身人工智能的 40 年中，前 35 年的主要进展来自大学，研究过程公开透明；而过去五六年，关键突破都发生在大公司封闭的办公室内。科技公司能否保持开放，将直接影响外界对这些风险的判断。
是否应在提升安全水平的同时暂停人工智能发展？
Anthropic 联合创始人 Dario Amodei 近几天表达了类似观点。他指出，训练和测试人工智能是一个资源密集、过程复杂的工程。言外之意或许是：行业竞争已令各方疲惫不堪；但这也可能为理解这些模型、制定安全方案争取到追赶的时间。
这个设想不错，落地的可能性或许很小。Amodei 同时强调，美国公司相对于中国的领先优势有限。这意味着它们几乎不会主动放缓到让这一优势消失的程度——恰恰相反，优势需要被保持得"尽可能大"。
考虑到整个行业的高度竞争——既存在于争夺市场份额的美国公司之间，也存在于寻求战术优势的敌对国家之间——整体放缓似乎不太可能。虽有超过 1300 名业内人士支持为发展"划定边界"的设想，但即便美欧就此立法，执行情况仍存变数。
美国总统特朗普本周的表态也印证了这种基调："我们在人工智能领域领先中国，坦率地说。"
