Open3DLab指控Roblox爬虫违规抓取数据用于AI训练

Open3DLab指控Roblox爬虫违规抓取数据。该爬虫在34小时内发出2.6万次请求,下载145.5GB文件,无视robots.txt及非商业许可限制,疑似用于其3D基础模型训练。

独立 3D 建模社区 Open3DLab 近日发布公开警告,指控一个与游戏平台 Roblox 相关的网络爬虫大规模抓取了其旗下网站及姊妹站 SFMLab、SmutBase 上的数据。据 Open3DLab 博客文章披露,该爬虫共下载了 145.5GB 数据,获取了来自 712 个项目的 1,027 个文件的“完整副本”,Open3DLab 认为这些数据被用于“AI 训练目的”。

34小时爬取2.6万次,下载145.5GB数据

违规爬取细节

根据 Open3DLab 的详细报告,工作人员于 10 月 18 日发现异常流量,当时一个爬虫正“向我们的网站和下载基础设施发出大量请求”。该爬虫使用的用户代理标识为“格子 2-数据来源/1.0 (3D 基础模型研究;[被删除]@roblox.com)”,其 IP 地址源自单个 Amazon AWS 节点。

报告显示,该爬虫未遵守网站的 robots.txt 文件及服务条款中明确禁止扫描的规定,同时也忽视了项目创作者设定的“禁止非商业用途”许可限制。在 34 小时内,该爬虫发出了 26,429 次请求,几乎覆盖了 18,926 个项目目录的全部内容。最终,它从 712 个项目中下载了 1,027 个文件后暂停运行。

具体下载内容包括:来自 SmutBase(专注于成人内容的姊妹站点)上 224 个项目的 364 个文件,共计 54.8GB;以及另外 345 个标记为成人的 SFMLab 项目文件,共计 62.6GB。

持续尝试与后续反应

Open3DLab 指出,爬虫程序的主要速度限制因素是其使用了限速的免费下载服务器。尽管相关截图在同一天被检测到并于次日早晨遭到封锁,但 10 月 19 日仍发现了更多的下载尝试。这些尝试发生在办公时间内,仅在午餐时段短暂停顿一小时,且并未因封锁而减少。

最后一次尝试出现在 10 月 20 日,请求频率逐渐降低,疑似进行测试,随后完全停止。Open3DLab 表示,在此阶段再次要求 Roblox 发表评论,但未收到回复。

关联 Roblox AI 战略

Open3DLab 在博客中分析了事件背景,指出 Roblox 自 2025 年 3 月起一直在构建相关模型。当时,Roblox 推出了名为 Roblox Cube 的“核心生成人工智能系统”,旨在用于 3D 建模、角色操纵,并将角色和化身列为未来目标。此外,一项允许通过自然语言提示构建游戏内模型的“4D 生成”技术已于 2026 年 2 月进入测试阶段。

Open3DLab 声称,爬虫用户代理中列出的电子邮件地址与 Roblox Cube 研究论文中列出的一位研究人员相匹配。鉴于 Roblox 的记录,Open3DLab 认为“最可能的解释”是该爬虫正在为其 3D 基础模型收集“培训或评估数据”,尽管该社区承认无法直接证明这一点。

关于成人内容数据的争议

Roblox 作为一个拥有超过 3300 万用户的游戏平台和创建系统,其玩家中有 40% 年龄在 12 岁以下。针对此次涉及成人内容网站的数据抓取,Open3DLab 明确表示,“不认为 Roblox 开始收集成人内容”,但日志显示“没有人检查过”这一情况。因此,Open3DLab 认为 Roblox 处于一种“不好的位置”。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读