金融服务行业正经历从“生成式AI”向“行动型AI”的关键转型，这一变化深刻重塑了行业内的问责机制。英国政府推动的金融服务AI采用计划明确要求该部门突破孤立试点的局限，将人工智能深度整合至核心业务流程中。
随着AI代理（Agent）介入欺诈调查、理赔处理及合规支持等环节，企业面临的挑战已不再局限于理解模型如何得出结论，更在于掌控决策执行后的连锁反应。金融行为管理局（FCA）首席执行官尼希尔·拉蒂指出，当AI开始“协调和交易”时，可解释性依然是核心议题，但仅关注模型本身已不足以应对风险。
因此，除了模型的可解释性，企业还需建立覆盖全工作流程的运营责任体系。通过业务编排技术，企业能够实现对AI代理访问系统的可视化监控，确保代理人、员工及现有系统依据既定规则协同运作。
黑盒风险转移至工作流层面
当前数据揭示了显著的治理缺口：48%的英国金融服务高管表示其公司正在使用代理人工智能，然而超过四分之一的企业承认缺乏或仅有有限的控制措施以确保法律与法规的合规性。
这种差距源于AI代理带来的复杂治理挑战。代理能够在不同系统间移动、解析信息、调用工具并自主决定后续步骤，导致决策过程分散于多个工具和系统中，难以追溯至具体的许可所有者，形成“黑盒旅程流程”。
以保险索赔为例，一个代理可能负责收集证据、比对保单条款并将案件转交深入审查，另一个代理则可能联系客户或建议扣留支付。若受到监管质疑，组织必须具备重建整个决策旅程的能力。
此外，AI代理的小错误可能在自动化流程中被重复和放大。真正的风险并非幻觉本身，而是由其引发的后果——例如错误的细节可能在被察觉前触发账户限制、不当的客户沟通或错误的监管报告。这与FCA关于运营弹性的要求一致，即企业需绘制关键业务服务地图，识别漏洞并理解干扰传播路径。
问责制需跟随工作流而非停留于模型
随着AI在更多系统中运行，问责制必须延伸至工作流程层面。今年1月，财政委员会警告称，英国对金融服务领域AI监管采取的“观望”策略可能导致消费者及整个系统遭受严重损害，并呼吁就消费者保护和高级管理人员职责提供更明确的指导。
企业需要建立与流程速度和规模相匹配的控制机制，明确所有权，并保留可审计的决策与行动记录。目前的困境在于，没有任何单一团队能完全掌握代理的全过程：合规团队了解政策，技术团队熟悉模型，运营团队关注客户旅程，第三方供应商提供部分基础设施。而一个代理可能在几秒内跨越这四个领域，这种现象被称为“代理扩散”，其繁殖速度往往快于团队的追踪能力。
这导致高级管理人员虽对结果负责，却缺乏评估结果的必要证据。
“人在回路”不等于有效监督
“人在回路”（Human-in-the-loop）常被简化为人工审批环节，但其有效性取决于审核者能否看到完整上下文并具备干预能力。如果员工仅收到代理人的推送通知，而不清楚代理访问了哪些系统、信息是否完整或已采取何种行动，所谓的信任极易沦为盲目盖章。
控制措施应与行动后果挂钩。低风险行政任务或许只需监控，但涉及银行账户限制、保险索赔拒绝或欺诈指控升级等操作，则需要更高门槛的人类监督。审核者需要获得支持建议的证据、记录之前的步骤，并拥有质疑或撤销行动的权限。目标并非在所有任务前设置人类判断，而是让人类判断力聚焦于后果最严重的节点。
审计全流程而非仅看结果
传统审计通常记录最终决策，而代理工作流程要求记录中间所有环节。企业必须明确是哪个代理采取了行动、获取了哪些信息、使用了哪些系统工具、应用了何种规则以及哪个人进行了审查或撤销。
通过编排技术将这些交互记录在一致的日志中，企业可以监控、限制并在必要时停止工作流中的行动。这种可见性必须扩展至第三方服务商，即使外部支持参与工作流程，受监管公司仍需具备足够信息以调查结果并证明控制措施按预期运行。
自主化前的控制前提
代理人工智能旨在消除重复劳动，使员工专注于需要人类判断的案件。企业必须在赋予代理自主权的同时，保持对其行为的可见性与控制权。这种平衡被称为“受控制的自主性”，即真正的自治需建立在可见性和明确限制之上。
每个相关工作流程都需要明确的所有权、权限定义和审计轨迹，且当行为超出批准范围时，企业必须具备干预能力。随着金融服务从提供建议转向采取行动，最强大的系统将那些能够追踪、挑战和阻止行动的系统。这使得企业能在不丧失问责制的前提下提升自主性，从而自信地扩展代理人工智能的应用。
