scrapy接入IP代理池（代码部分）

最新推荐文章于 2023-10-18 11:53:49 发布

原创

最新推荐文章于 2023-10-18 11:53:49 发布 · 4.8k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#ip代理池 #scrapy #python3

本文记录了一个通过IP代理池解决爬虫被禁问题的完整过程，主要涉及Scrapy框架和Python3环境，利用代理池提高爬虫的网络访问稳定性。

> 记录一个比较完整的通过ip池进行爬虫被禁的处理


class HttpProxymiddleware(object):

    # 一些异常情况汇总
    EXCEPTIONS_TO_CHANGE = (
        defer.TimeoutError, TimeoutError, ConnectionRefusedError, ConnectError, ConnectionLost,
        TCPTimedOutError, ConnectionDone)
    def __init__(self):
        # 链接数据库 decode_responses设置取出的编码为str
        self.redis = redis.from_url('redis://:你的密码@localhost:6379/0',decode_responses=True)
        pass