Python scrapy设置代理ip

最新推荐文章于 2025-01-26 17:24:40 发布

他与星辰皆失

最新推荐文章于 2025-01-26 17:24:40 发布

阅读量7.8k

点赞数 2

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/dashujs/article/details/121373541

本文介绍如何在Scrapy爬虫中配置代理IP以解决IP被封的问题。包括设置代理IP列表、在下载器中间件中启用代理及随机选取代理IP的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

应用scrapy爬虫的时候，经常遇到ip被封的问题，直接导致无法获取数据，所以要使用代理ip。

在网上有很多大神写的案例，我选择了一个进行使用，不知道是ip的原因还是我写的有问题，还是会报错，但是思路总是有的，先记下来再熟悉一遍慢慢就会了。

首先第一步是在settings文件里设置好proxy_list

PROXIES_LIST = {
    'http://112.85.168.96:9999',
    'http://1.197.203.234:9999',
    'http://120.83.106.228:9999'
    'https://223.241.78.23:808',
    'https://112.85.171.126:9999'
   ]

第二步是在下载器中间件中加入代理IP，在把中间的类名加入setting中。

什么是下载器中间件。

参考scrapy官方文档可以看到。

下载器中间件是 Scrapy 请求/响应处理的钩子框架。这是一个轻量级的低级系统，用于全局更改 Scrapy 的请求和响应。

也就是说，下载器中间件可以全局修改Scrapy request和response，那就可以在这里设置代理ip来请求网页。

下载器中间件在middlewares文件里.

在middlewares文件里设置process_request类和 import PROXIES_LIST

from douban.settings import PROXIES_LIST
import random

class process_request(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = random.choice(PROXIES_LIST)

在settings文件里开启 donwloader_middlewares 中间件：

DOWNLOADER_MIDDLEWARES = {
   # 'douban.middlewares.DoubanDownloaderMiddleware': 543,
   'douban.middlewares.process_request': 541
   }

这只是一个简单的思路，怕自己忘了，还要不断重复尝试。

哦对了，我用的代理网站是：高匿ip非国外免费代理服务器提供，非国外免费ip代理服务器地址列表 - 第1页 - 西拉免费代理IP