Roblox爬虫下载145GB含成人内容数据

Roblox 爬虫批量下载 Open3DLab 等网站 145GB 模型数据，含大量成人内容

最后更新时间：2026 年 10 月 26 日

本文概述了事件经过及已采取的缓解措施，详细调查报告将于后续发布。

10 月 18 日（周日），运营团队发现针对其网站及下载基础设施的大量请求。所有请求均使用相同的用户代理字符串：grid-2-data-sourcing/1.0 (3D foundation model research; [redacted]@roblox.com)。这些请求源自 Amazon Web Services (AWS) IP 地址。在随后的 34 小时内，该爬虫发出了 26,429 次请求，浏览了 18,926 个项目主页。

在完成页面抓取后，爬虫从 712 个项目中提取了 1,027 个文件。其中，SmutBase 网站的 224 个项目包含 364 个文件，数据量为 54.8 GB。在被下载的 712 个项目中，有 345 个涉及成人内容，总计 62.6 GB。

受限于免费下载服务器的速度限制及并发连接上限，下载数量受到一定制约。值得注意的是，尽管该爬虫检索了 robots.txt 文件，但未遵守其中的规则，同时也无视了禁止抓取的服务条款以及创作者许可证要求——在被下载的 712 个项目中，有 423 个明确标注为“仅供非商业用途”。数据显示，爬虫对成人内容的抓取速率与其他类型内容无异。被下载的内容包括《Stellar Blade》中的 Eve 模型、《Overwatch》中的 Mei 模型以及其他敏感素材。

运营团队于 10 月 18 日发现异常并在当日上午实施了拦截，周末期间未再出现类似活动。同日，团队通过电子邮件向用户代理中显示的地址发送问询，要求 Roblox 方面作出回应，但截至发稿时未获回复。

10 月 19 日，爬虫尝试恢复抓取活动，但所有请求均被服务器阻断。即便面临封锁，扫描器并未减少尝试频率，且其活动时间与办公时间高度吻合，仅在午餐时段短暂停顿一小时。10 月 20 日晚 8 点，扫描器再次尝试访问，随后停止。团队再次发送邮件询问情况，仍未收到回复。

基于公开信息及日志分析，目前存在以下推测：

自 2025 年起，Roblox 持续推进“3D 基础模型”研发。2025 年 3 月，Roblox 推出了名为 Cube 的 3D 和 4D 核心生成 AI 系统，其论文将其定义为“3D 智能的基础模型”，目标涵盖角色操纵、角色及化身生成等功能。Cube 的首个版本基于约 150 万个来自授权及公共数据集（如 Objaverse）的 3D 资产，以及 Roblox 创作者商店中允许使用的免费资产进行训练。2026 年 2 月，Roblox 开始推广基于 Cube 的“四维代”技术。

用户代理中的邮箱地址属于“Cube”论文的四十余位作者之一。该研究人员的公开资料显示其正在 Roblox 构建 3D 基础模型，此前工作涉及 3D 重建及实时 3D 渲染。虽然数据收集行为通常由公司决策主导，责任主体应为 Roblox，但用户代理信息直接指向负责构建 3D 基础模型的研究人员。

用户代理中的 trellis2-data-sourcing 可能指代 Microsoft 于 2025 年底发布的开源 3D 模型 TRELLIS.2。这可能意味着数据用于训练或微调类似模型，亦或仅为内部项目代号。目前尚不清楚具体用途。已知的是，TRELLIS.2 官方发布的数据工具包并不包含此类网络爬虫及特定用户代理，表明该脚本是为此次数据获取专门编写的。考虑到相关工具开源，Roblox 也可能复用 Trellis.2 工具链为其下一代模型准备数据。

Open3DLab 等网站拥有完整的、带纹理的角色模型，这正是 3D 生成系统所需但公开数据集中相对稀缺的资源。

最可能的解释是，该爬虫正在为 Roblox 的 3D 基础模型工作收集训练或评估数据。目前无法证实这些数据是否最终进入了模型训练环节。

这并非 Roblox 首次因对待平台创作者及第三方权利问题而引发争议：

• 年轻开发者待遇：2021 年，游戏媒体 People Make Games 发布调查视频，指出 Roblox 将年轻用户转化为低薪开发者。据计算，Roblox 保留了约 75% 的开发者游戏收入，而 Steam 的比例为 30%。Roblox 当时拒绝披露收入分成细节及最低支付标准。（注：2025 年 9 月，该公司将提现率提高了 8.5%。）
• 版权诉讼：2021 年，美国国家音乐出版商协会起诉 Roblox，指控平台存在未经许可的音乐使用，索赔至少 2 亿美元。该案同年以 undisclosed 金额达成和解。
• 儿童安全争议：2024 年 10 月，做空机构 Hindenburg Research 指责 Roblox 夸大用户数量并未能有效保护儿童。Roblox 称该报告具有误导性，并指出报告作者将从股价下跌中获利。此后，路易斯安那州、肯塔基州、德克萨斯州和佛罗里达州的总检察长就儿童安全问题对 Roblox 提起诉讼。上述均为指控，尚未形成最终调查结果。

此次事件强化了外界对 Roblox 商业伦理的质疑，显示出一家被指控将增长置于平台依赖者利益之上的公司的行事风格。

统计数据显示，2025 年超过三分之一的 Roblox 用户年龄在 13 岁以下。该平台规定禁止性内容，并于 2025 年进一步收紧了相关审核政策。

然而，Roblox 的爬虫从 SmutBase 获取了 224 个项目，且在 712 个被下载的项目中有 345 个为成人内容。后续的扫描尝试也未对成人内容进行区分处理。

运营团队强调，目前没有证据表明 Roblox 有意专门收集成人内容，也没有证据显示这些内容会流入某个特定模型或产品。这些行为很可能是自动化流程的结果。但这正是问题的核心：根据日志显示，无人工审核环节介入。一家服务于数千万儿童用户的平台公司，其爬虫程序却指向了成人内容网站。

AI 模型倾向于复制其学习到的内容。如果成人培训数据进入能为 Roblox 创造资产的模型，那么数据与儿童之间唯一的屏障将是 Roblox 事后建立的过滤器，因为其数据收集过程本身缺乏过滤机制。此外，当创作者删除项目，或因违反规则及版权通知而被移除时，文件虽已从源站消失，但仍存在于已下载的数据集中。例如，SFMLab 中已有项目被禁用，若 Roblox 仍持有副本，则该副本依然存在。

运营方表示不反对成人内容，视其为生计来源，认为成年人在自愿前提下应能自由访问此类内容。反对的是成人网站在未经询问的情况下，被纳入被视为剥削性的游戏公司的训练数据中。“我们的人工智能团队大规模下载成人网站数据且无需人工审查”并非合理的立场。

此部分为观点阐述。

Roblox 并非 AI 领域未经授权获取他人劳动成果的最恶劣案例，仅是近期日志记录中的一例。除 Roblox 外，其他 AI 巨头也有类似行为。在发现 trellis2-data-sourcing 爬虫的前一个月内，Meta 的 Meta-ExternalAgent 对其网站发起了约 380,000 次请求，几乎全部来自 Meta 自有网络，加载了 211,000 个项目页面。该爬虫随后也被屏蔽。

这是首个被发现实际提取用户上传资产的独立爬虫，符合 AI 实验室未经许可获取内容的更广泛背景。大型科技公司在此类行为上屡遭指控，有时甚至予以承认：

• Meta 曾从影子图书馆下载至少 81.7 TB 的盗版书籍。2025 年 6 月，一名法官裁定在这些记录上进行训练属于合理使用。
• 成人工作室 Strike 3 Holdings 声称 Meta 使用了数千部影片训练 AI 视频模型。Meta 辩称下载仅用于“个人使用”。2026 年 6 月，法院拒绝驳回此案。讽刺之处在于，Strike 3 以起诉成千上万 BitTorrent 用户而闻名。
• 根据 2026 年 1 月提交的一份修改后的集体诉讼，Nvidia 联系安娜的档案馆（Anna's Archive），要求高速访问其盗版书籍收藏的训练数据，管理层迅速签署协议。Nvidia 认为联系海盗网站不构成违法。自此以来，法院基本拒绝驳回此案。
• Anthropic 下载了数十万本盗版书籍。法官认定使用购买的书籍进行训练属于合理使用，但保留盗版书库则不然。2026 年 7 月，法院批准了一项 15 亿美元的和解协议，约合每本书 3,000 美元。

对比普通用户的处境：2000 年代初，Jammie Thomas-Rasset 因分享 24 首歌曲被判赔偿 222,000 美元；有人因下载学术文章面临数十年监禁威胁。与此同时，作为非营利机构的互联网档案馆（Internet Archive）及其在线图书馆也反复遭到 AI 公司的扫描。

运营团队坦诚其立场：不认同现有的版权体系，希望看到彻底改革，甚至不哀悼其废除。社区日常生活在灰色地带，许多模型为商业游戏角色的粉丝移植作品。当工作室发出拆除通知时，团队予以遵守。

当前，世界上最大的公司以人类历史上前所未有的规模侵犯版权。自互联网发明以来，情况一直如此，但版权法从未跟上技术发展。文件共享曾是对版权体系的冲击，而 AI 似乎只是扭转刀锋，加剧了一个不平等的系统。

团队并非要求更严格的版权法或强化版权所有者保护，因为受益者主要是迪士尼和 Adobe 等大型娱乐公司。他们指出的是版权执行的双层制现状：个人面临轻微违规的毁灭性打击，而巨型公司仅需承担事后可谈判的成本。这种仅向下作用的法律体系缺乏尊重基础，难以持续。

团队呼吁 Roblox 尊重社区规范：相信人，尊重创作者选择的许可证。若想使用他人的作品，应事先询问原因。Roblox 的爬虫未遵循这些规则，给合法用户社区带来麻烦，显示出对制作、分享和主持这些作品的人群的不尊重。

对于发送给 Roblox 的邮件未获及时回复表示遗憾。团队提出以下问题供 Roblox 回答：

1. Roblox 是否运行了 trellis2-data-sourcing 爬虫？
2. 这些数据用于什么目的？是否用于训练或评估某个模型？若是，是哪个模型？
3. 为什么爬虫无视 robots.txt 规则和服务条款？
4. 是否有人检查过爬虫访问的网站范围？成人内容在任何阶段是否被排除？
5. Roblox 是否会删除这些文件及其衍生内容，并以书面形式确认？
6. 未来，Roblox 是否会尊重创作者权益，特别是非商业许可选择？

团队希望与 Roblox 取得联系。若知悉 Roblox 动向或其他网站遭受类似攻击，欢迎联系。团队渴望了解是否存在更多类似的爬虫行为模式。

相关日志文件的完整导出已保留，必要时可供外部审计。

Open3DLab、SFMLab 和 SmutBase 是由小型团队运营的三个免费 3D 资源社区网站。SFMLab 始于 2014 年，专注 Source Filmmaker 模型；SmutBase 于 2016 年上线，仅限成人内容；Open3DLab 于 2020 年加入，聚焦通用型 3D 工作。创作者可上传角色、道具、地图和环境，并自行选择许可证，供公众免费下载。这三个网站均设有成人内容限制。

关于编辑说明：用户代理中的电子邮件地址确认为 Roblox 员工的工作地址。出于隐私考虑，姓名已隐去。本文重点在于陈述 Roblox 爬虫的行为。

关于归因问题：团队采信用户代理的表面信息。虽然任何人都可在用户代理中填写任意邮箱，且爬虫运行于 AWS 云端，但未发现伪造迹象。标签内容与 Roblox 发表的研究方向高度一致。尽管如此，自我声明仍需 Roblox 方面确认。