针对儿童性虐待材料(CSAM)的安全风险,OpenAI 近日宣布推出一系列新工具与措施。此次更新涵盖用于检测 CSAM 的新型图像分类器、ChatGPT 内的警告与临时封锁机制、面向开发者的安全指南,以及供执法部门使用的专用调查工具。

新型图像分类器:准确率提升与误报率降低
OpenAI 推出了一款能够识别 CSAM 图像的新分类器,并通过 API 向精选合作伙伴免费开放。该工具旨在从此前未见过的图像中识别滥用视觉迹象,并对内容进行评分,从而为审核人员提供处理指引。
据 OpenAI 介绍,该分类器是与国家失踪和被剥削儿童中心(NCMEC)共同开发的。在早期测试阶段,数据显示该分类器使标记图像的数量减少了 48%,同时被标记图片确认为滥用内容的比例是之前的两倍。
ChatGPT 强化用户行为管控
为防止用户生成或访问涉及儿童性行为的内容,ChatGPT 新增了警告屏幕功能。当系统检测到此类提示时,将向用户展示警报,引导其寻求专业支持以停止有害行为,并暂停相关账户 24 小时作为警告。目前,应用程序已能阻止 CSAM 内容及关联请求,对于反复违规的用户,OpenAI 表示可能导致账户被永久删除。
在制定上述干预措施时,OpenAI 联合了保护儿童组织、Lucy Faithfull 基金会以及塔斯马尼亚大学的 Joel Scanlan 等机构与研究人员,对警告信息的效果进行了独立评估。
开发者指南与执法辅助工具
OpenAI 还发布了针对使用其工具的开发者的指南,内容涵盖预防、检测及协助用户报告 CSAM 的方法。早期测试表明,这些指南促使许多开发商采用了儿童安全工具,并注册加入 NCMEC 的报告体系。
此外,公司还为执法部门提供了专门的人工智能功能,包括专用插件、调查工具和复杂的数据分析能力。这些工具由程序管理员控制访问权限,并配套提供了针对调查人员的培训材料及实地操作指南。
背景:应对监管压力与安全争议
这一系列举措出台之际,OpenAI 正面临来自多方的诉讼,指控其技术对用户尤其是儿童造成伤害。专注于安全的非营利组织 Common Sense Media 曾将 OpenAI 的技术标记为“不可接受的风险”。与此同时,其他人工智能聊天机器人(如 Grok)也被曝出被用于创建包含儿童的非法性图像。
在过去 12 个月内,OpenAI 对其技术架构进行了多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止生成有害输出,并推出了专为青少年设计的 ChatGPT 版本。





