网页抓取最佳实践指南：如何成功进行网页抓取

先问一些看似枯燥的问题

是否有可用的 API 或公开的数据导出？数据是否需要登录或付费才能访问？网站的 robots.txt 是否禁止访问该路径？先回答这些问题，能让你避免构建出一个之后不得不下线的方案。

主动“温柔”一些

在网站限制你之前先自我限速。每个域名每秒发出几次请求，并加入随机间隔，一周下来获得的数据往往比一次突发请求（然后在第一天就被封禁）要多得多。尽量在非高峰时段抓取——你终究是在别人的资源上做客。

认真对待缓存

保存原始响应内容。重新解析本地副本几乎不花任何成本；而重新抓取则要消耗带宽、承担风险并损耗对方的耐心。使用条件请求（ETag、If-Modified-Since），让未变化的页面返回 304 而不是完整内容。

表现得像一个普通客户端

一致性是整个游戏的核心。IP 所在国家、Accept-Language、时区、User Agent 和 TLS 指纹应当讲述同一个故事。一个来自西班牙的住宅 IP，却带着无头 Chrome 的签名和 en-US 请求头，比一个诚实的数据中心请求更容易引起怀疑。

让代理类型与目标匹配

在能容忍的场景使用数据中心代理，面向消费者的网站使用住宅代理，任何存在状态的地方使用粘性会话，只有在其他方式都行不通时才使用移动代理。轮换 IP 却保留原来的 Cookie，是最常见的“自伤式”封禁原因。

正确处理失败情况

区分对待：429（放慢速度，遵守 Retry-After）、403（已被封禁，轮换并调整访问模式）、5xx（对方的问题，退避后重试）以及验证码（说明你已被察觉）。采用带抖动的指数退避、设定重试上限，并设置一个熔断机制，在错误率飙升时暂停整个任务。

具有防御性地解析数据

网站会进行改版。要校验预期字段是否存在、内容是否合理，并在结构发生变化时及时告警，而不是让程序空跑一周、写入一堆空行。

保存溯源信息

每条记录都应包含 URL、时间戳、出口国家和响应状态码。当有人对某个数字提出质疑时，这些元数据能在几秒钟内给出答案。

守住合规底线

只采集公开数据，不采集没有合法依据的个人数据，不绕过身份验证，并尊重下架请求。良好的抓取实践很大程度上依靠自我克制——而这种克制也正是维持高成功率的关键。