爬取网页被反爬？UA伪装+Cookie池+延迟策略，一套组合拳解决

之前做行业资讯聚合项目时，踩过一个典型的反爬坑：用固定UA+无Cookie+固定1秒延迟爬取某平台，结果爬5页就被403封禁，换了UA后爬10页又被封——后来才发现，平台反爬不是单一看某一个指标，而是综合判断“请求特征是否像真实用户”。

试过单独加延迟、单独换UA，效果都昙花一现；最后把“UA伪装+Cookie池+动态延迟”组合起来，再补全请求头细节，爬虫拦截率从75%直接降到6%，连续爬取24小时稳定无封禁，顺利拿到10万+条资讯数据。

这篇文章不搞虚的，全程用实战代码说话，把三个策略的“底层逻辑、搭建步骤、整合用法”拆透——新手能直接复制跑通，解决80%的基础反爬问题，不用再为403、频繁跳转头疼。

一、先搞懂：平台是怎么识别你是爬虫的？

很多人觉得“反爬就是封IP”，其实基础反爬的核心是“识别非人类行为”，平台主要看3个维度，单一策略刚好踩中所有雷区：

1. UA特征单一：同一UA（比如python-requests/2.31.0）短时间内发大量请求，平台一眼就能认出是爬虫（正常用户不会用Python的默认UA）；
2. Cookie状态异常：要么没带Cookie（像个没登录的游客，容易被限制），要么长期用同一个Cookie（真实用户会换设备/登录态，固定Cookie=爬虫标识）；
3. 请求行为机械：固定1秒爬一次、请求间隔完全一致、只爬数据不加载静态资源——这些行为完全不符合人类浏览习惯，平台直接判定为恶意爬虫。

举个真实例子：之前用默认UA+无Cooki