Scrapy 使用随机 User-Agent

start_continue

于 2021-03-05 17:22:24 发布

阅读量318

点赞数

CC 4.0 BY-SA版权

分类专栏： python学习文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/start_continue/article/details/114403798

python学习专栏收录该内容

4 篇文章

订阅专栏

本文探讨了Scrapy框架下USER_AGENT的两种不同设置方式及其效果对比。一种是直接设置默认USER_AGENT，另一种是通过自定义中间件实现随机USER_AGENT。文中详细解释了中间件优先级对USER_AGENT的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

情况一：设置默认USER_AGENT ，不开启DOWNLOADER_MIDDLEWARES
结果默认使用USER_AGENT = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"代理
在这里插入图片描述

情况二：开启DOWNLOADER_MIDDLEWARES，使用自定义RandomUserAgentMiddleware，数值为1000。
结果默认使用USER_AGENT = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"代理
原因：DOWNLOADER_MIDDLEWARES_BASE 与DOWNLOADER_MIDDLEWARES混用时，谁数值越小，谁优先执行
（1000时稳定使用USER_AGENT = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"代理，但401之类比较接近的数值，会使用随机代理，原因不明，以后探究）

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400
优先执行顺序大于
'ImgCrawler.middlewares.RandomUserAgentMiddleware': 1000,

在这里插入图片描述

正确情况：
settings设置：
在这里插入图片描述

middlewares设置：

spider测试：