scrapy框架设置多个User-Agent方法

最新推荐文章于 2025-05-20 12:53:28 发布

原创

最新推荐文章于 2025-05-20 12:53:28 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #User-Agent #scrapy #多个useragents设置方法 #python爬虫中User-Agent设置

本文介绍了如何在Scrapy框架中设置多个User-Agent，包括在user_agents.py文件中定义User-Agent列表，在middlewares.py中引入并使用这些User-Agent，以及在settings中配置DOWNLOADER_MIDDLEWARES来实现随机切换User-Agent进行爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.在scrapy文件中创建一个py文件
示例如下user_agents.py

user_agents = [
    'User-Agent,Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
    'User-Agent,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
    'User-Agent,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
    'User-Agent, Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
    'User-Agent,Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1'
]

2.在middlewares.py文件中引用user-agents中的User-Agent
方法实例如下：

from .user_agents import user_agents
import random

class RandomUserAgentDownloaderMiddleware(object):
    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(user_agents)

3.在settings中设置DOWNLOADER_MIDDLEWARES，