python scrapy框架爬取豆瓣top250电影篇一代理编写

最新推荐文章于 2021-05-21 23:24:24 发布

志yu

最新推荐文章于 2021-05-21 23:24:24 发布

阅读量555

点赞数

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/ichglauben/article/details/82559426

版权

python爬虫专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种在Scrapy框架中实现用户代理(User-Agent)随机切换的方法，通过定义一个中间件来为每次请求随机选择一个User-Agent，以此来提高爬虫的隐蔽性和抗封禁能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫伪装:

UA中间件编写
这里写图片描述

这里写图片描述

settings设置
这里写图片描述

from scrapy import signals
import  base64
import  random

class my_useragent(object):
    def process_request(self,request,spider):
        USER_AGENT_LIST = [
                 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
                 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6726.400 QQBrowser/10.2.2265.400',
                 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)',
                 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)',
                 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)'
        ]
        agent = random.choice(USER_AGENT_LIST)
        request.headers['User_Agent'] = agent