Roblox 的爬虫搬走了 145GB 模型，连成人内容站点也没放过

📋 概述

10 月 15—16 日，一个自称属于 Roblox 的爬虫走遍 Open3DLab、SFMLab 与 SmutBase 的几乎全部项目，下载了 712 个项目中的 1027 个文件，合计 145.5GB。它的 UA 是 trellis2-data-sourcing/1.0（注明 3D foundation model research）并带 roblox.com 邮箱，来自单一 AWS 地址，34 小时内用 26429 次请求读了 18926 个项目主页。它抓取了 robots.txt 却照样无视，越过禁止爬取的 ToS，也无视创作者许可——712 个项目里 423 个仅限非商业使用。其中 SmutBase 的 224 个成人内容项目被下载 54.8GB，成人内容合计 62.6GB。站方 10 月 18 日发现并封禁，给 Roblox 发邮件未获回复。