爬虫常用middlewares.py文件

最新推荐文章于 2023-09-16 17:58:46 发布

原创最新推荐文章于 2023-09-16 17:58:46 发布 · 2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #爬虫 #中间件

python 同时被 2 个专栏收录

50 篇文章

订阅专栏

FE and Scrapy

21 篇文章

订阅专栏

本文介绍了一种使用Python实现的爬虫中间件配置方法，包括随机选择User-Agent、Cookie及代理IP来提高爬虫的稳定性和隐蔽性。通过定义三个类：HeadersMiddleware、CookiesMiddleware 和 ProxiesMiddleware，分别处理请求头、Cookie 和代理设置。

# -*- coding: utf-8 -*-

import random

from headers import agents
from cookies import cookies
from Proxies import PROXIES

class HeadersMiddleware(object):
    def process_request(self,request,spider):
        agent = random.choice(agents)
        request.headers['User-Agent'] = agent

class CookiesMiddleware(object):
    def process_request(self,request,spider):
        cookie = random.choice(cookies)
        request.cookies = cookie

class ProxiesMiddleware(object):
    def process_request(self,request,spider):
        proxy = random.choice(PROXIES)
        request.meta['proxy'] = 'http://%s' % proxy['ip_port']