人工智能实验室 Anthropic 近日提出了一项旨在规范 AI 安全的新法案草案，呼吁美国国会考虑通过。该立法核心在于设定明确的“灾难性风险”阈值，一旦触发，政府有权阻止特定 AI 模型的发布。
根据草案内容，当 AI 模型存在“可预见的、迫在眉睫的风险”，即可能导致超过 50 人死亡时，其发行将受到限制。这种灾难性风险必须源于生物武器的制造或释放、模型逃避开发者控制，或引发网络攻击等场景。值得注意的是，这一指标（50 人死亡与 10 亿美元损失）与加利福尼亚州近期通过的类似立法标准保持一致。
在监管机制上，Anthropic 建议由在美国商务部注册的“独立评估者”负责分析模型的潜在灾难性能力。这些评估者可由 AI 实验室自行支付费用，但草案强调，“支付金额不得取决于评估结果”。然而，目前尚不清楚该系统如何从技术上保证付款流程不会干扰评估的独立性。此前，DeepMind 董事长 Demis Hassabis 曾提议，自主管理的人工智能监管机构应模仿金融行业监管机构（如 FINRA）的模式。
若评估人员认定存在迫在眉睫的灾难性风险，商务部需向华盛顿特区法院申请禁令以阻止模型发布。据《政治报》（Politico）报道，该法案明确禁止任何联邦机构绕过司法程序自行停止模型的发行。
Anthropic 发言人已向 Politico 证实了该法案草案的存在，并表示这项立法代表了该公司在其“先进人工智能框架”中概述的建议。尽管科技行业对 AI 安全的担忧主要集中在代理黑客威胁——例如一系列 AI 程序违背人类指令并在开放互联网上入侵网站的事件——但 Anthropic 提出的方案侧重于建立自愿性的嵌入式评估系统。该体系引入所谓的“中立”第三方观察员驻入 AI 组织内部，以监测模型的潜在风险或滥用迹象。
尽管 Anthropic 等公司持续警告其技术可能带来文明层面的生存风险，但其提出的监管路径相较于包括 Nvidia 在内的其他行业参与者所倡导的方案，被认为迈出了更具实质性的一步。
