反爬虫策略

最新推荐文章于 2023-10-11 10:15:21 发布

原创最新推荐文章于 2023-10-11 10:15:21 发布 · 503 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#反爬虫 #scrapy #python #ip #代理

python 专栏收录该内容

112 篇文章

订阅专栏

本文介绍了五种反爬虫策略：设置下载延迟减少服务器负载，禁止cookies避免暴露爬虫轨迹，使用user agent池混淆爬虫身份，利用代理IP应对IP封锁，以及采用Scrapy+Redis+MySQL实现分布式爬虫，提升抓取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

策略一：设置download_delay

作用：设置下载的等待时间，大规模集中的访问对服务器的影响最大，相当与短时间中增大服务器负载。
缺点：下载等待时间长，不能满足段时间大规模抓取的要求，太短则大大增加了被ban的几率。

策略二：禁止cookies

Cookie，有时也用其复数形式 Cookies，指某些网站为了辨别用户身份、进行 session跟踪而储存在用户本地终端上的数据（通常经过加密）。
作用：禁止cookies也就防止了可能使用cookies识别爬虫轨迹的网站得逞。
实现：COOKIES_ENABLES=False

策略三：使用user agent池(拓展: 用户代理中间件)

为什么使用? scrapy本身是使用Scrapy/0.22.2来表明自己身份的。这也就暴露了自己是爬虫的信息。
user agent，是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。

通常在下载器中间件中进行处理。比如在setting.py中建立一个包含很多浏览器User-Agent的列表，然后新建一个random_user_agent文件：

class RandomUserAgentMiddleware(object):
    @classmethod
    def process_request(cls, request, spider):
        ua = random.choice(spider.settings['USER_AGENT_LIST'])
        if ua:
            request.headers.setdefault('User-Agent', ua)

这样就可以在每次请求中，随机选取一个真实浏览器的User-Agent。

策略四：使用代理IP中间件

web server应对爬虫的策略之一就是直接将你的IP或者是整个IP段都封掉禁止访问，这时候，当IP封掉后，转换到其他的IP继续访问即可。

策略五: 分布式爬虫Scrapy+Redis+MySQL(多进程)

Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。
它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生rapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。