scrapy在middlewares.py中添加随机user-agent

最新推荐文章于 2024-02-20 08:48:25 发布

原创最新推荐文章于 2024-02-20 08:48:25 发布 · 584 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

python 专栏收录该内容

19 篇文章

订阅专栏

本文介绍如何利用Python的fake_useragent库为爬虫请求设置随机User-Agent，通过自定义中间件实现每次请求自动更换不同的User-Agent，提高爬虫的隐蔽性和抗封锁能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作用：可以在请求中重写headers
pip3 install fake_useragent
导入fake_useragent 包
from fake_useragent import UserAgent 
class RandomUserAgentMiddlerware(object):
    def __init__(self,crawler):
        super(RandomUserAgentMiddlerware,self).__init__()
        self.ua = UserAgent()
        self.ua_type = crawler.settings.get('RANDOM_UA_TYPE','random')
    @classmethod
    def from_crawler(cls,crawler):
        return cls(crawler)
    def process_request(self,request,spider):
        def get_ua():
            return getattr(self.ua,self.ua_type)
        request.headers.setdefault("User-Agent",get_ua())