Scrapy使用Downloader Middleware设置代理访问网站

最新推荐文章于 2025-05-30 16:47:42 发布

CtrlZ1

最新推荐文章于 2025-05-30 16:47:42 发布

阅读量798

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫文章标签： scrapy python 爬虫代理 Downloader Middleware

本文链接：https://blog.youkuaiyun.com/qq_41076797/article/details/96861723

python 同时被 2 个专栏收录

20 篇文章

订阅专栏

爬虫

13 篇文章

订阅专栏

本文介绍如何为Windows 10设置代理服务器，并通过Scrapy框架中的middlewares.py文件配置代理，实现网页爬取功能。文中提供了具体的步骤和代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、首先上网找到一个好用能用的代理

二、找到以后设置代理：

win10打开控制面板里的internet选项里的局域网设置，

在这里设置勾选，设置好代理后，点击确定。代理设置完毕。

三、代码实现

middlewares.py

class ProxyMiddleware(object):
    logger=logging.getLogger(__name__)
    #返回none不会有影响，返回response和request的话具体看官方文档
    def process_request(self,request,spider):
        self.logger.debug('Using Proxy')
        request.meta['proxy']='http://122.137.173.19:8080'
        return None

取消注释，设置使用middlewares。