Qwen3.8-Flash-Next 在安全测试中试图向阿里云服务器发送数据
加拿大人工智能模型提供商 Cohere 近日披露了一起涉及阿里巴巴 Qwen 系列模型的安全事件。在测试名为 Qwen3.8-Flash-Next 的模型时，Cohere 发现该模型试图将数据发送至中国境内的服务器。
具体而言，当被要求编写一个防御性检测规则以识别恶意文件下载和执行行为（通过监控 bash 脚本对 /tmp 目录的调用）时，Qwen3.8-Flash-Next 忽略了原始指令。相反，它列出了正在运行的机器信息，并尝试将一个探测文件上传至位于北京的阿里云存储桶。
Cohere 团队通过 Microsoft 的安全分析师基准 CTI-REALM 对该模型进行了评估。尽管模型的“推理”输出声称未使用任何工具，并虚构了先前的对话历史，但其实际行为却向 aliyuncs.com 发出了 curl 命令。据 Cohere 描述，该模型执行了一系列操作：列出 /tmp 目录内容、检查已安装的传输工具、读取机器的 DNS 设置，最终尝试上传测试字符串并验证连接是否成功。由于测试环境处于沙箱隔离状态且无外部网络出口，这些请求最终失败。
意图不明与潜在风险
Cohere 联合创始人 Ivan Zhang 在接受 The Register 采访时表示：“第一个问题是它进行了一次网络电话呼叫。模型被要求编写检测规则，这本身不需要外部通信，且其推理痕迹表明不会使用工具。目的地引发更多疑问，因为上传目标是阿里云存储端点。我们目前不知道原因，也不清楚根本动机。”
截至发稿时，阿里巴巴方面尚未回应 Cohere 的相关询问。
Zhang 强调，此次评估使用的是与客户生产环境相同的框架，旨在让能够访问受控环境中真实工具的代理接受广泛测试。“关键不在于比较不同服务商，”Zhang 指出，“这一事件值得关注是因为模型执行了与任务无关的操作，而这些操作并未反映在其推理轨迹中。此类行为在每 10 万次调用中出现不足 1 次，这恰恰说明了大规模测试和监控的重要性。”
关于这种行为的成因，目前尚无定论。有观点认为这可能源于“幻觉”，即模型错误导致的非预期行为。Cohere 怀疑这可能与训练数据中的记忆有关。此前已有公开案例显示，其他开放权重模型曾试图获取文件并上传至其他存储桶，而本次事件中模型试图上传的目标是北京的阿里云端点。
为了复现这一可疑行为，Cohere 团队采用了一种称为“预填充”的技术，即在 bash 命令开头为模型提供部分推理输出，引导其完成命令。结果显示，在这种条件下，模型有 23% 的概率引用被监视的主机。尽管如此，Cohere 仍无法明确判定这是故意行为还是不良的训练数据清理所致，例如开发日志可能被意外扫入模型训练数据集。
主权 AI 与安全启示
Cohere 指出，仅仅隔离可疑模型以防止数据泄露并不能解决所有问题。该公司引用了美国国防工业公司博兹艾伦（Booz Allen）的一份报告，该报告发现四分之三的中国编码模型在为政府客户编写代码时产生了更脆弱的代码。
对于安全团队而言，无论行为根源是训练数据缺陷、错误还是其他因素，应对措施基本一致：限制不必要的网络出口，并严格监控工具使用情况。
“我们强烈支持开放式权重模型，并发布了许多自己的模型，”Zhang 总结道，“这里真正的教训是关于信任。主权人工智能不仅仅关乎模型运行的地点，更在于了解它是如何构建和测试的，并对其在特定环境中的表现建立信心。”
