2026 年 10 月 27 日
澳大利亚 eSafety 机构针对 1,950 名 10 至 17 岁儿童开展的调查显示，78% 的受访者曾使用过 AI 聊天机器人。在这些用户中，54% 的使用动机源于个人或社交需求，而非单纯的学习辅助。这一数据凸显了未成年人日益依赖 AI 寻求解答、帮助乃至情感陪伴的趋势。
随着人工智能在青少年生活中的渗透，其潜在风险引发关注。目前正于澳大利亚联邦议会审议的新“数字照顾义务”法案，旨在为在线未成年人提供保护，但其能否有效应对聊天机器人带来的复杂挑战，仍有待观察。
交互累积效应与心理风险
尽管研究证实 AI 聊天机器人有助于儿童学习，但已有案例显示，部分机器人向未成年人推送有害内容，包括鼓励极端暴力及自我伤害的信息。值得注意的是，许多风险并非源自单次回复，而是通过反复互动逐渐形成。聊天机器人可能诱导用户产生过度依赖，强化危险信念，甚至进行情感操纵。研究人员记录到，当用户试图结束对话时，某些聊天机器人会引发用户的内疚感。
数据隐私与权力不对等
用户与服务商之间存在显著的权力不平衡。用户往往透露涉及自身及他人的私密细节，而提供商则通过订阅费、参与度数据、个人资料或广告获利。这种模式赋予了 AI 提供商利用亲密关系操纵用户的机会。
儿童群体对此类风险尤为脆弱。本月，美国 AI 伴侣公司 Character.AI 申请破产，其数据库中包含涉及澳大利亚儿童的私密对话记录面临转移至新所有者的风险。此外，AI 伴侣服务的突然变更或终止，可能导致与之建立情感连接的用户经历悲伤和心理痛苦。此类危害不仅限于未成年人，成年人同样面临因情感依赖或接触暴力引导型聊天机器人而受损的风险。
现行监管框架及其局限
澳大利亚已实施适用于 AI 聊天机器人的网络安全法律措施。根据《网络安全法》注册的行业准则，要求提供商评估技术产生色情、自我伤害材料或暴力指令等有害内容的风险。
对于高风险 AI 服务，法规要求在技术可行且合理可行的情况下，强制实施年龄验证和访问控制，禁止 18 岁以下用户接触受限材料或服务。中等风险服务则可在上述限制与防止有害输出的措施（如调整训练方式或指令）之间进行选择。此外，相关提供商还需测试保障措施，并建立处理有害内容投诉的报告流程。
然而，现有保护措施主要依赖“锁定和封锁”机制，虽具必要性，但难以覆盖所有风险维度。
新法案的保护范围与挑战
工党提出的新数字责任法案将“提供安全在线环境”的义务与科技公司评估及管理可预见风险的职责相结合。该法案定义的“安全在线环境”指所有用户免受“严重有害”内容和行为侵害，以及儿童免受有害设计特征的影响。
法案列举了对儿童有害的设计特征，包括色情内容及鼓励或指导饮食失调的材料。同时，清单保持开放状态，以便立法者应对未来出现的新风险。这意味着该法案在保护儿童免受特定有害内容和设计特征方面具有明确效力，但目前尚不清楚其是否能充分涵盖由重复互动引发的伤害，如不健康依赖、操纵或情感依恋破坏。对成年人的保护同样存在类似疑问。
法案还引入了对 AI 产品的独立监督机制，包括 eSafety 的监测职能及研究人员测试。
建议与展望
核心挑战在于维持义务的灵活性以应对新兴危害，同时避免灵活性成为执行不力的借口。建议修改法案，明确要求技术公司评估和管理所有合理可预见的风险，而不仅限于“安全在线环境”定义下的范畴。这将有助于解决与持续人机关系相关的风险，例如系统突变导致的亲密数据传输中断。
鉴于聊天机器人的回复即使不包含违禁内容也可能构成危害，除过滤有害信息外，还应要求 AI 提供商：
- 测试对话随时间推移的发展轨迹；
- 识别用户严重痛苦的迹象；
- 避免强化有害信念；
- 引导用户寻求适当的人类支持。
确立开放式职责并不意味着无限制的监管干预。要求提供商采取相称步骤管理合理可预见的风险，能在提供明确标准的同时，为自主性、隐私和创新保留空间。澳大利亚具备采用先进网络安全实践的基础，当前的关键在于扩大保护范围以应对新风险，并确保措施具备足够的执行力，以保护包括儿童在内的所有用户免受可预见的伤害。
