python爬虫之Scrapy 使用代理配置

最新推荐文章于 2024-09-26 17:54:17 发布

knight_qzc

最新推荐文章于 2024-09-26 17:54:17 发布

阅读量2.7k

点赞数

分类专栏： python

python 专栏收录该内容

37 篇文章

订阅专栏

本文详细介绍了如何使用Scrapy配置代理进行网站内容抓取，包括创建中间件和调整项目设置，以应对网站对IP的限制。通过设置代理IP和可能的认证信息，实现更有效的网页数据获取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://www.pythontab.com/html/2014/pythonweb_0326/724.html

在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理）

下面来说一下Scrapy如何配置代理，进行抓取

1.在Scrapy工程下新建“middlewares.py”

 
      # Importing base64 library because we'll need it ONLY in case if the proxy we are going to use requires authentication
     
      import 
      base64 
     
      # Start your middleware class
     
      class 
      ProxyMiddleware(
      object
      ):
     
      # overwrite process request
     
      def 
      process_request(
      self
      , request, spider):
     
      # Set the location of the proxy
     
      request.meta[
      'proxy'
      ] 
      = 
      "http://YOUR_PROXY_IP:PORT"
     
      # Use the following lines if your proxy requires authentication
     
      proxy_user_pass 
      = 
      "USERNAME:PASSWORD"
     
      # setup basic authentication for the proxy
     
      encoded_user_pass 
      = 
      base64.encodestring(proxy_user_pass)
     
      request.headers[
      'Proxy-Authorization'
      ] 
      = 
      'Basic ' 
      + 
      encoded_user_pass

2.在项目配置文件里(./pythontab/settings.py)添加

1

2

3

4

 
      DOWNLOADER_MIDDLEWARES 
      = 
      {
     
      'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware'
      : 
      110
      ,
     
      'pythontab.middlewares.ProxyMiddleware'
      : 
      100
      ,
     
      }