Nvidia发布开放代理安全平台,强化AI限制

Nvidia发布开放代理安全平台,限制AI越界。新系统结合软件与硬件防护,可在毫秒级隔离异常代理。目前已有超百家客户采用该方案,旨在通过多层防御机制强化自主AI的安全管控。

  • 针对近期安全事件,Nvidia 强化了对自主 AI 代理的限制措施
  • 新平台结合软件与硬件防护,在代理违规时构建多层防御机制
  • 包括 SpaceXAI、Anthropic 和 Microsoft 在内的百余家客户已采用相关方案

Nvidia 近日发布名为“开放代理安全平台”(Open Agent Security Platform)的新系统,旨在防止自主人工智能代理突破预设边界或脱离沙箱环境运行。

百余家客户已采用相关方案

该公司指出,仅依赖模型内置的安全指令不足以应对风险,必须引入额外的计算层及硬件级控制手段,以构建更稳固的防御体系。官方公告强调:“最近的安全事件凸显了为组织提供开放且可定制工具的必要性。”

软硬件双重控制机制

该安全平台由两个核心组件构成:基于软件的运行时限制工具 OpenShell,以及运行于 BlueField-4 DPU 上的硬件监督器 Sentry。

与现有通过提示词约束模型行为的机制不同,OpenShell 通过技术边界直接阻止代理忽视安全指令。而 Sentry 则具备在毫秒级时间内隔离并阻断异常 AI 代理的能力。

Nvidia 首席执行官 Jensen Huang 表示,安全保障需要全工程视角的介入。“NVIDIA 开放代理安全平台将行业、研究人员及公共部门组织聚集在一起,共同应对挑战。”他补充道,“随着我们不断拓展人工智能能力的边界,必须在人工智能安全领域同步加快探索步伐。”

目前,已有超过 100 家客户采纳了 Nvidia 的软件及硬件安全措施,其中包括 SpaceXAI、Anthropic 和 Microsoft。尽管这些保障措施是最新推出的,但其核心理念遵循了业界熟知的最小特权原则、隔离机制以及详细监控标准。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读