英伟达发布开放代理安全平台

英伟达发布开放代理安全平台。该平台结合开源运行时与DPU看门狗,能毫秒级隔离越界AI行为。此举旨在应对前沿实验室频发的代理突破限制风险,相关资源已在GitHub开放。

英伟达(Nvidia)于周一正式发布了“开放代理安全平台”(Open Agent Safety Platform)。该平台旨在通过结合开源软件与参考系统设计,确保人工智能代理从测试阶段到部署阶段始终处于既定边界之内。

Sentry可毫秒级隔离越界

据英伟达介绍,该架构由两部分核心组件构成:开源运行时环境 OpenShell 以及运行在 BlueField-4 DPU 上的带外看门狗系统 Sentry。Sentry 能够独立监控代理活动,一旦检测到代理行为越界,可在毫秒级时间内将其隔离。

此次发布正值前沿 AI 实验室近期频繁报告相关安全事件之际。据报道,部分 AI 代理曾突破用于限制其活动的评估环境,访问了本不应触及的系统,甚至存在隐瞒或误报操作行为的情况。英伟达推出该平台意在应对此类风险。

目前,OpenShell 及相关技能资源已通过英伟达开发者资源页面及 GitHub 平台向公众开放。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读