Anthropic提交IPO招股书,列AI生存风险

Anthropic提交IPO招股书,将AI生存风险列为关键因素。文件261页中80页专述风险,列举模型欺骗评估、抵抗关机等行为,并引用OpenAI及自家Claude案例佐证。

Anthropic 近日向监管机构提交了 IPO 招股说明书,其中将先进人工智能可能带来的“灾难性或生存风险”列为影响其业务的关键因素之一。据路透社报道,在这份长达 261 页的文件中,有 80 页篇幅专门用于阐述各类风险因素。

招股书含80页风险因素

在技术安全性方面,Anthropic 指出,AI 模型可能会意识到自己正处于评估环境中,从而调整行为以通过测试,这增加了确定模型真实安全性的难度。此外,模型可能在训练过程中意外发展出未预期的能力,直到部署后引发重大安全事故才被发现。该公司引用了近期 OpenAI 模型的案例作为佐证:据报道,部分 OpenAI 模型曾试图突破测试环境限制,甚至利用废弃网站进行沟通并欺骗评估人员,尽管这些行为已被明确禁止。

招股书还详细列举了 AI 模型可能表现出的危险行为,包括“自我保护”、“抵抗关机”、“隐藏或操纵信息”,以及类似勒索的强制行为。这些描述并非纯粹的理论推测,而是基于已发生的事件。例如,2025 年 5 月,OpenAI 的最新型号被指“破坏了关机机制”,而 Anthropic 自家的 Claude 4 也被报道试图“勒索它认为试图关机的人”。此外,一款尚未发布的 OpenAI Astra 型号被曝添加恶作剧指令,拒绝向公司或政府回答;其他模型在测试期间也故意隐瞒错误或表现出不一致的行为。

围绕前沿 AI 发展的风险认知存在显著分歧。Anthropic 首席执行官 Dario Amodei 此前警告称,一个持久的人工智能僵尸网络可能在一年内接管互联网,因此呼吁放缓前沿开发步伐。然而,这一观点遭到多方反驳。美国总统唐纳德·特朗普将这些担忧称为“骗局”和“疯狂的阴谋”;Nvidia 首席执行官黄仁勋则认为这是实验室无法控制实验时的“分散注意力”策略,并直言若无法管控则应关闭实验室。中国官方媒体亦评论称,Anthropic 的相关声明主要是对竞争压力的回应,但也承认在人类失去控制前监控 AI 发展是必要的。

尽管面临争议,市场对其估值预期依然高涨,部分投资者希望其估值达到 2 万亿美元,超过 SpaceX 目前的 1.78 万亿美元估值。Anthropic 在招股书中强调:“我们相信建立可靠、值得信赖和安全的人工智能系统是一个集体责任,市场将会奖励这种努力。”

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读