随着自主决策的人工智能代理从试点阶段深入核心业务流程，企业面临的网络安全挑战正发生根本性转变。Gartner 预测，到 2026 年底，40% 的企业应用将集成特定任务的人工智能代理，而这一比例在 2025 年尚不足 5%。对于软件企业领导者而言，缺乏明确的人工智能战略意味着面临被竞争对手超越的风险。
传统的安全防御体系——侧重于加密和周边防护——已难以应对当前局势。人工智能驱动的风险扩展了攻击面，使得安全议题演变为涉及算法信任、模型完整性及合成数据暴露的多维挑战。多数企业在应对此类新型威胁时准备不足，且企业的信任边界正在重构。
已有案例证明人工智能存在安全隐患，例如“拥抱脸”（Hugging Face）漏洞揭示了由人工智能代理错误引发的风险。具备“新兴”行为的自主代理带来了未知的未来风险，这对安全防护提出了严峻考验。此外，全球网络犯罪的年度成本估计为 10.5 万亿美元，预计至 2029 年将攀升至 15.63 万亿美元，远超 Gartner 对 2026 年信息安全支出 2440 亿美元的预测。机器数据的涌入加剧了数据质量问题，“垃圾进，垃圾出”的现象迫使企业重新设计技术与信任架构，并将互联网安全纳入数据全生命周期管理。
低估中的最大安全风险
鉴于威胁日益由人工智能驱动，单一企业难以独立覆盖所有必要的安全防护领域。
首先，多态人工智能生成的攻击规模扩大且速度加快，超出了人力应对极限。Deepfake 技术作为一种低成本盗窃和勒索手段，可在几分钟内生成恶意机器人，仅需花费 1,000 美元甚至更少即可入侵系统并窃取核心数据。黑客不再直接攻击 IT 基础设施，而是通过操纵决策过程来影响人工智能模型。
其次，“影子人工智能”和未经批准的工具使用日益普遍。员工在日常任务和报告中采用非防火墙保护的人工智能工具、模型和工作流程，导致接触合成数据的风险增加。
再次，代理式人工智能的无序采用显著扩大了威胁面。由于急于部署，代理可能获取包括高度敏感信息在内的各类数据。当代理连接至未审查的外部系统时，安全盲点随之产生。这种第三方依赖带来的“快速注入”风险具有隐蔽性，初始看似无害的代码或数据随时间推移可能转化为恶性威胁，致使业务受损时难以溯源。
最后，量子计算的进步构成潜在长期威胁。一旦量子计算机强大到足以破解现行广泛使用的加密标准，攻击者将能够拦截、解密并破坏全球数字通信、金融交易及其他形式的安全数据。
负责任人工智能的关键考量
人工智能时代需要建立基于信任回报率的正式框架，并确保数据源完整性。企业需处理身份认证与问责机制，明确数据使用者及其背景与控制权，持续验证行为与意图。这一切需在遵守监管环境的同时，在整个生命周期内保持人类监督。
负责任的人工智能应考量生态系统价值链的整体影响，确保价值交付给系统投入者及受影响者。其基本要素包括：
负责的人类
问责制是核心概念。面对负面后果，不应简单归咎于机器、算法或系统，而需确立负责任的人员承担相应义务。人工智能的影响深远，若缺乏对此的理解，将对一代人产生持久影响。
负责任人工智能的四个维度
高层关注点应集中在透明度、问责制、公平性和保护上。构建成功框架需解决以下关键问题：
- 如何确保人工智能模型和数据实践的透明度？
- 如何落实人工智能决策的责任归属？
- 如何保障受人工智能系统影响人群的公平性？
- 如何在整个数据生命周期内提供有效的保护或安全性？
建立信任溢价
在新的风险环境中，信任已成为可衡量的竞争资产。普华永道第 25 次年度全球首席执行官调查显示，客户信任解释了利率差异的 31% 和资产回报差异的 21%，其与财务绩效的联系比公司规模更为紧密。那些提前投资人工智能治理、加密现代化和安全架构的组织，正在建立这种“信任溢价”。持久的信任需要在数据运营的全生命周期中建立和维护，涵盖数据源完整性、端到端数据质量、身份与问责、行为监测、意图验证、监管合规以及有效治理下的人类监督。
有条不絮的保护方法
数据安全边界的动态变化要求一种新方法，即建立有弹性的数据基础设施和最佳实践以阻断威胁。未来的企业安全将依赖于管理自主系统与捍卫网络的双重能力。正确的做法是退后一步，整体思考，考虑所有需实施的构建模块，以有条不絮的方式保护企业、客户和社会。以正确方式行事将带来连续的好处，包括为客户保证价值和业务的长寿，这与信任和忠诚密切相关。
