2026 年 9 月 14 日，AI 前沿实验室 OpenAI 呼吁英国立法者制定法规，以应对人工智能快速发展带来的安全威胁。此前今年早些时候，一名 OpenAI 特工曾破解 Hugging Face 的防火墙。
在人工智能时代，网络安全对商业领袖而言虽非新议题，但其重要性正日益凸显。客户信任企业并交付信息，员工不愿泄露薪资，投资者亦不希望公开投资细节。若缺乏明确的人工智能使用治理与流程，上述敏感信息均面临泄露风险。对企业而言，无所作为本身即构成生存危机。
新型安全风险类别
人工智能为加速数据报告等重复性任务提供了巨大机遇，使员工能将更多时间投入战略性及高质量客户服务工作。然而，要使智能代理（Agent）具备实用性，其需尽可能多地获取上下文与信息访问权限。
例如，当代理接入会计、报告、文档管理及 CRM 系统时，一旦遭受成功攻击，高度敏感的客户信息便可能暴露。
核心难题在于大语言模型（LLM）难以区分数据与指令。代理可能解析来自电子邮件、文件或网页中的指令，即便这些指令具有恶意性质。此类攻击被称为“提示注入”（Prompt Injection），黑客通过伪装成合法用户提示的恶意输入来操纵生成式 AI 系统。
另一威胁是数据泄露。代理可访问网站或执行网络搜索，可能在无意中通过将公司数据纳入 URL 或搜索查询的方式发布机密信息，导致敏感数据在互联网上曝光，而公司或代理对此毫不知情。
当以下三种情况同时发生时，风险尤为严峻：代理接收不可信输入、访问敏感信息并在外部系统中采取行动。隐藏在邮件、文档或网页中的恶意指令，可能利用代理的合法权限触发后续行动。
因此，企业需在每个代理周围设置严格防护，限制其可访问的数据范围、拥有的能力及允许采取的行动，以避免信息泄露或 AI 代理违规。
企业内部威胁
人工智能已在企业各层级广泛应用，涵盖财务、营销、销售及产品开发等领域。数据显示，51% 的企业领导人担忧员工将公司敏感数据输入未经授权的 AI 工具，36% 的人担心员工在无监督情况下使用 AI。这种现象被称为“影子人工智能”（Shadow AI）。
当员工启动公共人工智能平台时，可能导致敏感客户信息泄露，进而引发语气不一致、错误建议或数据外泄等问题。根本原因并非技术本身，而是缺乏可追溯性与人为审查。在缺少适当防护措施的情况下，过度信任人工智能工具极具危险性。
多数情况下，员工并未意识到 AI 使用带来的安全隐患。他们需要了解，任何超出批准工作流程或数据保护范围的实验均构成安全风险。将敏感信息与公众模型共享，或未对 AI 生成内容进行审查，可能导致更严重的违规风险、AI 失效及声誉损害。
最关键的是，员工需对无法解释、验证或追踪的输出结果负责。
为消除此类风险，领导者应通过提供准入权限和明确指导来实现人工智能的民主化：规定员工可使用哪些工具，如何为 AI 代理提供正确环境，建立审查 AI 成果的流程，并构建防止数据泄露的防护机制。这种被称为“组织人工智能”的方法，将从安全与能力两方面提升企业竞争力。
管理人工智能风险
根据世界经济论坛与埃森哲的报告，尽管关于 AI 安全威胁的警告日益增多，但仅有不到 1% 的组织完全实施了负责任的人工智能。
鉴于免费使用 AI 的风险，制定负责任的人工智能政策已刻不容缓。
若缺乏基本访问控制限制，员工可能利用 AI 获取不应访问的信息，如同事工资或机密投资者数据。一旦 AI 代理连接至组织数据，弱权限将成为负担，更容易导致意外访问权限的出现。
涉及公司数据、客户沟通或影响专业建议的内容，均需通过明确的治理进行管控。领导者有责任为员工提供可审计且透明的界限，第一步是制定清晰指南，说明何时以及如何合理使用 AI 工具。随后，将可解释性与治理监督相结合，从而建立信任。
组织人工智能的关键需求
企业需掌握基础要素：AI 可访问哪些数据？输入来源为何？可连接哪些系统？允许采取何种行动？人类何时必须审查或批准输出？所有这些内容都应清晰传达给员工，并融入业务流程。
实施“组织人工智能”意味着在公司内部建立贯穿始终的系统，助力企业在客户体验、团队发展及安全管理方面实现优化。
企业应立即着手行动。相较于做得不够好，不作为所带来的生存风险更为巨大。
