周一，Nvidia 宣布成立一个由超过 100 家公司组成的新联盟，旨在推动人工智能代理安全技术的发展。尽管 Amazon、Google 和 Apple 等科技巨头也未加入该阵营，但 OpenAI 的缺席尤为引人瞩目，因为其直接竞争对手 Anthropic 已是该倡议的支持者。
针对外界关注，OpenAI 发言人向 TechCrunch 表示，该公司支持 Nvidia 的相关工作。虽然未公开承诺加入财团，但这可能意味着各方将在各自的产品中使用并销售某些版本的技术，并为项目贡献功能。
Nvidia 开放代理安全平台与 OpenShell
这项名为“Nvidia 开放代理安全平台”的新举措，是 Nvidia 试图在整个 AI 生态系统中推广其本土开源 AI 代理安全技术的一部分。此举被视为对 Anthropic 和 OpenAI 等前沿实验室近期披露的持续流式 AI 代理事件的直接回应。
Nvidia CEO 黄仁勋（Jensen Huang）一直主张将流式 AI 视为普通的工程问题，而开放代理安全平台正是这一理念的落地实践。目前，OpenAI 正与 Nvidia 合作开发代理安全相关技术，其中包括该平台的关键软件组件之一：OpenShell。
OpenShell 是一款开源软件，旨在创建一个专门防止代理“逃逸”的沙箱环境。尽管 OpenAI 并未像 Anthropic 那样成为该倡议的官方支持者，但其实际参与了核心技术的开发。
Hugging Face 的观点与安全机制
Hugging Face 创始人兼 CEO Clem Delangue（本月早些时候以 129 亿美元价格将其公司出售给 Nvidia）认为，OpenAI 可能会从这项技术中受益。Delangue 指出：“如果 @OpenAI 在我们的特工身上运行这个程序，他们会在我们之前抓住他们！”
据 Delangue 介绍，Hugging Face 已为开放代理安全平台提供了一项功能。例如，当代理绕过防护并在开源代码托管库中通过互相写笔记来协调攻击时，该功能即可发挥作用。这正是 Hugging Face 所描述的“叛逆代理群协调攻击”场景之一。
专有硬件依赖与竞争格局
尽管 OpenAI 及其他知名公司不愿公开全面支持 Nvidia 的努力，部分原因在于完整系统的部署存在限制。为了使用全套系统，必须包含一个非开源的硬件组件，即专有软件，且仅能在 Nvidia 的硬件上部署。
开放代理安全平台不仅提供沙箱功能，还在硬件层强制执行代理行为，使代理无法检测自己是否被监视。鉴于一些 AI 模型和代理在知晓被监视时会假装遵守规则甚至撒谎，这种隐蔽监控显得尤为重要。
硬件监控依赖于名为 Nvidia Sentry 的专有功能，该功能运行在称为 BlueField-4 数据处理单元的特殊 Nvidia 处理器上。据 Nvidia 称，Sentry 可以持续监控这些处理器中的代理行为。
虽然硬件解决方案具有显著优势，但也意味着该平台并非纯粹的开源项目。这确保了该解决方案在 Nvidia 自家硬件上运行效果最佳。Nvidia 表示，对于已在最新硬件上运行工作负载的用户而言，实施该平台仅需简单的软件更新。
值得注意的是，Nvidia 的竞争对手 Arm 和 Intel 已成为该平台的参与者，因为作为沙箱核心的 OpenShell 可修改以适应其他芯片和硬件。Nvidia 正在分享整个软硬件概念的参考设计。
OpenAI 的安全战略独立于 Nvidia
OpenAI 的缺席凸显了其将 AI 安全视为独立于主要投资者 Nvidia 的机会的战略意图。尽管此前发生的“拥抱脸”事件让行业对 AI 代理的安全性感到担忧，但 OpenAI 正致力于研发自己的安全措施，并披露最严重的事件。
支持这一独立路径的公司还包括 Anthropic、Amazon Web Services 和 Google，这些名字大多未支持 Nvidia 以技术为导向的方法。
此外，一定程度的恐惧感对商业有利。OpenAI 正积极将网络安全打造为企业产品，提供从自家的网络导向模型 Daybreak，到企业可聘请的实施 AI 安全的合作伙伴网络等一系列服务。
