Python scrapy设置代理ip

本文介绍如何在Scrapy爬虫中配置代理IP以解决IP被封的问题。包括设置代理IP列表、在下载器中间件中启用代理及随机选取代理IP的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

应用scrapy爬虫的时候,经常遇到ip被封的问题,直接导致无法获取数据,所以要使用代理ip。

在网上有很多大神写的案例,我选择了一个进行使用,不知道是ip的原因还是我写的有问题,还是会报错,但是思路总是有的,先记下来再熟悉一遍慢慢就会了。

首先第一步是在settings文件里设置好proxy_list

PROXIES_LIST = {
    'http://112.85.168.96:9999',
    'http://1.197.203.234:9999',
    'http://120.83.106.228:9999'
    'https://223.241.78.23:808',
    'https://112.85.171.126:9999'
   ]

第二步是在下载器中间件中加入代理IP,在把中间的类名加入setting中。

什么是下载器中间件。

参考scrapy官方文档可以看到。

下载器中间件是 Scrapy 请求/响应处理的钩子框架。这是一个轻量级的低级系统,用于全局更改 Scrapy 的请求和响应。

也就是说,下载器中间件可以全局修改Scrapy request和response,那就可以在这里设置代理ip来请求网页。

下载器中间件在middlewares文件里.

在middlewares文件里设置process_request类和 import PROXIES_LIST

from douban.settings import PROXIES_LIST
import random

class process_request(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = random.choice(PROXIES_LIST)

在settings文件里开启 donwloader_middlewares 中间件:

DOWNLOADER_MIDDLEWARES = {
   # 'douban.middlewares.DoubanDownloaderMiddleware': 543,
   'douban.middlewares.process_request': 541
   }

这只是一个简单的思路,怕自己忘了,还要不断重复尝试。

哦对了,我用的代理网站是:高匿ip非国外免费代理服务器提供,非国外免费ip代理服务器地址列表 - 第1页 - 西拉免费代理IP

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值