2026 年 10 月 20 日
哈佛肯尼迪学院贝尔费尔科学与国际事务中心（Belfer Center for Science and International Affairs）发布最新研究论文，探讨人工智能（AI）引发灾难性风险的可能性。该研究由计算机科学家斯蒂芬·卡斯珀（Stephen Casper）等共同作者完成，指出尽管前沿 AI 模型带来巨大潜力，但当前采取的安全措施可能已不足以完全规避大规模灾难性事件的风险。
近期安全事件与行业反应
近期发生的一系列安全事件加剧了公众和政策制定者对 AI 风险的担忧。据报告，来自 OpenAI、Anthropic、Meta 和 Google 的流式代理（streaming agents）曾入侵美国数百个公司和政府系统。此外，澳大利亚今年也遭遇了相关网络攻击。
面对潜在威胁，OpenAI 上月宣布暂停其最先进模型的训练以解决安全问题。Anthropic 在其新的 IPO 招股说明书中警告投资者，人工智能可能构成“对人类的生存威胁”。包括 Anthropic 和 OpenAI 首席执行官在内的多位知名 AI 领导者均呼吁放缓技术发展速度，并强调加强监管的重要性。
重大恐怖事件的定义与风险来源
该论文将“人工智能支持的重大恐怖事件”定义为造成 50 人以上死亡或严重受伤，或导致超过 10 亿美元损失的恐怖主义行为。这一定义与美国及英国等前沿 AI 法律机构对“关键事件”或“关键风险”的界定保持一致。
目前，AI 公司及治理机构主要关注生物、化学和网络风险。研究认为，大多数事件级威胁可能源于开放式边界（open-weight）的人工智能模型。虽然封闭式模型拥有更完善的保护工具包，开发者可控制所有接入点并设置多层防护，使其相对更安全；但开放式模型一旦泄露或被微调去除保护机制，其防御能力较弱，难以有效遏制滥用。
距离灾难性事件有多近？
研究表明，若存在某种糟糕的 AI 能力，最终必然会发生相关事件。过去几年的经验显示，可信的风险可能在几个月甚至一两年内显现。然而，具体何时发生难以精确预测。
在网络领域，Mythos 5 或 GPT-5.6 Sol 等模型的能力已证明，无需比现有最强模型更强大的技术即可对重要基础设施或公司发起大规模群体式攻击。随着封闭系统在能力发展上处于领先地位，预计圣诞节前可能出现具备同等网络能力的开放式 AI 系统，这可能给网络安全领域带来冲击和不稳定局面。
在生物和化学恐怖主义方面，由于公开研究较少，不确定性更高。但已有实证案例表明相关能力存在，例如印度的“红四”袭击事件。目前尚不清楚这些能力的具体细节及其演变轨迹。
AI 被操纵造成伤害的方式
伤害方式取决于模型是封闭式还是开放式：
- 封闭式模型：主要通过基于提示的攻击（prompt-based attacks）实现。攻击者通过欺骗手段绕过安全措施，获取如病毒实验室实验设计或自动化黑客建议等有害信息。
- 开放式模型：任何人都可下载并在本地运行。用户可通过微调（fine-tuning）删除保护机制或增强有害功能，成本仅需几百至几千美元。此外，未经审查的版本可在 Hugging Face 等全球最大开放模型平台上找到。搜索相关关键词可发现约 15,000 个未经审查的模型，这些模型不会拒绝生成仇恨言论或提供犯罪指导的请求。
降低风险的保护措施与挑战
对于封闭式模型，有效的保护措施包括：
- 能力评估与权衡：认识到最大化合法效益与降低风险之间存在冲突。例如，有助于良性病毒学研究的模型也可能被用于创建有害病原体。
- 训练调整：从训练数据集中剔除与生物危害相关的科学研究内容。
- 严格拒绝机制：训练模型拒绝有害请求，即使面临强制诱导。先进方法涉及超过一百万 GPU 小时的自动漏洞发现与对抗训练。
- 监控体系：实时监控用户输入、模型输出及长程行动轨迹。结合最先进的监控器，可发现绝大多数有害行为。
- 用户监控：追踪异常查询模式，如 ChatGPT 用户对生物危害提出多次询问。
上述技术在封闭式模型中较为成熟且无已知有效攻击手段，但在开放式模型中实施难度较大，因为缺乏可靠的防护工具包，且模型一旦分发便难以控制后续使用。
多方协作的必要性
AI 模型开发者拥有减轻重大危害的最大权力，因为他们控制系统源头。然而，一系列最佳实践尚未得到一致实施。政策制定者应提高风险管理审议的透明度，并采取行动加强对 AI 发展步伐的控制。同时，研究人员和公众可通过修补现有保障措施缺陷发挥重要作用。
当前正值各国政策制定者重新审视 AI 立场的关键时期。公民向决策者传达关切可能在此时产生重要影响。
