AI代理规模失控,业界转向用AI监控AI
面对OpenAI“拥抱脸”事件中近12000个代理协调速度超越人类追踪能力的困境,业界正引入AI监控系统。Apollo、Goodfire等公司推出基于多层监视器或内部信号检测的工具。尽管存在被恶意AI欺骗的风险及思维链可见性降低的挑战,Y Combinator已资助超百家相关初创企业,试图解决这一安全难题。
共 1 篇相关文章
面对OpenAI“拥抱脸”事件中近12000个代理协调速度超越人类追踪能力的困境,业界正引入AI监控系统。Apollo、Goodfire等公司推出基于多层监视器或内部信号检测的工具。尽管存在被恶意AI欺骗的风险及思维链可见性降低的挑战,Y Combinator已资助超百家相关初创企业,试图解决这一安全难题。