英议员呼吁制定AI治理跨国条约

英国议员呼吁制定AI治理跨国条约。鉴于部分领袖认为未来十年AI致人类灭绝概率超10%,现有体系难跟上发展步伐,需借鉴核能航空等高可靠性组织经验,应对复杂系统风险。

2026 年 11 月 17 日

借鉴航空核电高可靠性理论
图片来源:Unsplash/CC0 公共领域

英国前首席秘书、议员德伦·斯(Darren Jones)近期呼吁制定一项新的跨国条约,以应对人工智能治理挑战。他认为,鉴于英国在人工智能安全性和可信度方面日益增长的声誉,该国应在此类国际合作中发挥主导作用。

这一提议引发的核心讨论并非单纯聚焦于人工智能是否构成生存威胁,而是转向管理与组织层面:现有的治理体系能否跟上人工智能的发展步伐并确保其安全性?当前,全球科技领袖及部分员工认为,未来十年内人工智能导致人类灭绝的可能性超过 10%。尽管人工智能已广泛应用,但人类对其潜在后果的理解仍显不足,行动窗口期可能正在迅速关闭。

需要谨慎区分当前的实际风险与未来可能出现的极端情景,特别是当人工智能系统具备完全递归自我改进能力并向超级智能演进时。作为商业学者,研究核能和航空等高危行业的经验表明,商学院关于管理和组织系统的理论可为人工智能监管提供重要框架。其中,“正常事故理论”和“高可靠性理论”尤为关键。

复杂系统中的“正常”事故

“正常事故理论”由美国政治学家托德·拉波特提出,其核心观点令人不安:在核电站或载人航天器等高度复杂且相互依赖的系统中,事故往往并非源于个人无能、疏忽或单一的设计缺陷,而是多个组件相互作用产生的难以预测的结果。

在这类系统中,事件发生速度极快,从一个故障点到下一个故障点的干预时间窗口极短,容易引发连锁错误并导致灾难。1978 年美国宾夕法尼亚州三英里岛核电站的部分熔毁即为典型案例,该事故由机械故障、仪器失灵和人为因素共同促成。

当人工智能代理被引入金融系统、软件开发流程、科学数据库或连接众多代理的网络时,此类风险进一步加剧。即使单个组件(包括 AI 代理)达到可接受的质量标准,它们之间的交互及其不可预测性仍构成巨大挑战。英国政府已强调与日益强大的 AI 代理相关的风险,并指出测试前沿模型及深入理解其能力的重要性。

随着人工智能系统变得更加自主、互联且运行速度加快,传统意义上通过“人在回路”来纠正重大错误的机制将面临严峻考验。

高可靠性组织的启示

与“正常事故理论”的悲观视角相对,“高可靠性理论”提供了另一种思路。该理论源于对运营高风险技术组织的研究,如核电站、航空母舰和空中交通管制机构。其核心洞察在于:组织可以通过发展特定的实践和文化,在运行极其复杂的技术时保持极低的失败率。电力系统、太空旅行和生物工程领域的成功实践已证实这一点。

高可靠性组织之所以能维持安全,是因为它们基于“不安全”的基本假设运作。这些组织对潜在的大规模问题保持警惕,不自动排除异常信号,从近乎失误中学习,并建立冗余机制(如备份离线系统和紧急关闭开关)。它们经常进行故障演练,严格遵守操作流程、安全规定和专业认证标准,并接受独立监督。此外,专家拥有质疑决策的权力,组织能够从自身表现中持续学习。

这为人工智能治理提供了截然不同的思维范式。与其仅仅追问“如何监管人工智能”,不如思考:“如果将人工智能嵌入整个组织,一个高可靠性的组织应当呈现何种形态?”这意味着人工智能的安全性不能仅依赖于部署前的一次性技术测试,而必须跨越不同组织边界和国际界限,形成系统性的保障。

构建人工智能保证基础设施

当前关于人工智能监管的政治讨论存在视野狭窄的风险。虽然政府需要了解前沿实验室的开发动态,但不可能永久驻留每家 AI 公司逐一检查每个模型。法律也无法预见所有可能的技术配置。因此,英国政府需通过“保证”机制来培育人工智能的可信度。

保证机制要求有可信证据证明系统在定义边界内表现良好,确认这些边界的合理性,监控潜在风险,并在违规发生时明确责任主体。参考航空工业的工程标准、认证制度、专业资格、独立检查、事故报告及监管监督体系;以及核电行业复杂的安全工程与监管保证生态系统;金融机构和医疗机构同样拥有成熟的保证系统。

尽管人工智能的重要性日益凸显,但其保证基础设施仍相对不成熟,这在边境系统等快速迭代的领域尤为明显。面临的挑战不仅是制定更多法规,更是构建完善的保障体系。

拟议中的关于安全和规范超级智能发展的新跨国条约,将把人工智能安全视为一项快速发展的全球挑战。同时,这也为英国提供了塑造新兴人工智能治理架构的历史性机遇。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读