大模型训练数据采集：如何大规模抓取而不被拦截

瓶颈从来不在模型

自建语料的团队几乎都低估了采集环节。几百万页听上去很简单，直到你遇上单IP频率限制、地域内容差异，以及网站给"疑似自动化"的访客返回精简版页面。你最终训练的不是互联网，而是互联网对你爬虫的看法。

采集"真人看到的页面"

最危险的失败是无声的：网站返回 200，但页面内容被削得很薄。管道照存不误，语料里堆满近乎空白的文档，直到评估阶段才发现。

防护做法：

• 按域名建立内容长度基线，超出范围的页面打标
• 保留一组已知良好的页面作为哨兵，定期重抓对比
• 每条文档都记录出口国家与IP
• 含验证特征的页面直接丢弃，不要入库

地域决定语料构成

新闻、电商、论坛和搜索结果都随国家变化。全部从一个地区采集，模型就继承了那个地区的视角。把采集分散到你关心的市场，并把出口国家作为元数据保存，后续可以加权、过滤或审计，而不必重抓。

克制是技术要求，不只是礼貌

遵守 robots.txt，只抓公开页面，不碰登录墙后的内容，抓取速率保持在网站不会察觉的水平。除了法律与伦理因素，激进抓取会让整个域名被硬封，你会永久失去这个数据源。

工程架构

按域名而不是按 URL 排队，避免一个慢站点拖垮整轮。每个域名单独设置并发上限和粘性会话。面向消费者的站点用住宅出口，开放 API 和归档站点用机房代理——在语料规模下，价差非常可观。入库前用内容哈希去重，网页的重复率远超预期。

带宽预算

屏蔽多媒体的纯文本采集平均每页约 100-300 KB。一千万页的抓取量大约在 1-3 TB。开始之前先算清楚，并选择在该量级下单价依然合理的套餐，而不是只在 5 GB 时看起来便宜的套餐。