Scrapy - 在下载器中间件中设置随机User-Agent

原创已于 2022-03-11 18:07:01 修改 · 10w+ 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #chrome #开发语言

于 2021-06-19 14:37:25 首次发布

网络爬虫同时被 2 个专栏收录

32 篇文章

订阅专栏

Scrapy

6 篇文章

订阅专栏

本文介绍了如何在Scrapy项目中通过middlewares.py实现随机生成User-Agent，提升网页抓取的隐蔽性。设置中间件确保每次请求头使用不同浏览器标识，增强爬虫的灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目目录

在这里插入图片描述

在middlewares.py中
编写随机User-Agent的逻辑

import random


class RandomUserAgent:
    def get_ua(self):
        a = random.randint(55, 62)
        c = random.randint(0, 3200)
        d = random.randint(0, 150)
        os_type = [
            '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
            '(Macintosh; Intel Mac OS X 10_12_6)'
        ]
        chrome_version = f'Chrome/{a}.0.{c}.{d}'
        ua = ' '.join(
            ['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36', '(KHTML, like Gecko)', chrome_version,
             'Safari/537.36'])
        return ua

    def process_request(self, request, spider):
        request.headers['User-Agent'] = self.get_ua()

在settings.py中
开启上面写的中间件

DOWNLOADER_MIDDLEWARES = {
    'scrapy_test.middlewares.RandomUserAgent': 100,
}