Python爬虫之scrapy框架中ip代理池的设置

最新推荐文章于 2024-07-07 22:25:52 发布

置顶流云浅暮

最新推荐文章于 2024-07-07 22:25:52 发布

阅读量6.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 爬虫文章标签： Python 爬虫

本文链接：https://blog.youkuaiyun.com/qq_40176258/article/details/86183833

Python 同时被 2 个专栏收录

20 篇文章

订阅专栏

爬虫

14 篇文章

订阅专栏

本文深入探讨了开放代理和独享代理的配置方法，包括如何在Python中使用代理进行网络请求，涉及随机选择代理和设置代理认证的过程。文章还强调了在配置代理时正确指定协议的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开放代理

class IpProxyDownloadMiddleware(object):
    PROXIES = ['110.52.235.131:9999','110.52.235.249:9999','112.17.38.141:3128']

    def process_request(self,request,spider):
        proxy = random.choice(self.PROXIES)
        request.meta['proxy'] = 'http://'+proxy

注：上面在设置代理时，要添加协议名称，http://或https://,否则会报错。

twisted.web.error.SchemeNotSupported: Unsupported scheme: b''

独享代理

class IpProxyDownloadMiddleware(object):
  def process_request(self,request,spider):
      proxy = "121.199.6.124:16816"
      user_password = "970138074:rcdj35ur"
      request.meta['proxy'] = 'http://'+proxy
      #bytes
      bs64_user_password = base64.b64encode(user_password.encode('utf-8'))
      request.headers['Proxy-Authorization'] = 'Basic' + bs64_user_password.decode('utf-8')