Scrapy 如何设置settings使用动态UA

原创 已于 2024-11-18 15:41:35 修改 · 4.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy

于 2018-04-09 15:10:35 首次发布
本文介绍了如何在Scrapy中自定义settings.py文件以设置动态User-Agent，以此防止反爬虫、提高爬取速度，并避免每次手动修改项目文件。讲解了关键参数如ROBOTSTXT_OBEY、CONCURRENT_REQUESTS等的作用，并提供了随机更换User-Agent的方法，确保在爬取过程中避免被服务器识别。

Scrapy 自定义settings--简化编写爬虫操作--加快爬虫速度

爬虫应该算是数据挖掘的第一步，也是分析数据的基础，更是得出结论的基石。爬虫大到一个团队在维护，小到毕业论文。Python应该算是大家非常喜欢的爬虫语言（理由不用多说都知道的）；而scrapy框架应该算是爬虫模块、框架中的佼佼者，今天我们自定义settings.py文件。

scrapy项目结构

那么我们自定义的就是这个settings.py文件的部分设置，今天修改浏览器头。理由：

1、简单防止反爬虫（豆瓣....）

2、加快爬取速度

3、不用每次都是修改项目文件的settings.py

...........

对于settings.py文件下的很多含义参考官方文档：

了解本专栏 订阅专栏 解锁全文
scrapy框架动态切换ua
Beyond_F4的博客
03-16 2858
scrapy爬虫防止被禁止 ，动态切换UA1）新建一个middlewares.py文件，内容如下，文件放在与items.py, settings.py所在的文件夹下。[html] view plain copy#!/usr/bin/python  #-*-coding:utf-8-*-    import random  from scrapy.downloadermiddlewares.user...
scrapy常用配置
优快云
07-24 7955
scrapy常用配置 一.基本配置 1.项目名称 2.爬虫应用路径 SPIDER_MODULES = ['Amazon.spiders'] NEWSPIDER_MODULE = 'Amazon.spiders' 3.客户端User-Agent请求头 USER_AGENT = 'Amazon (+http://www.yourdomain.com)' 4.是否遵循爬虫协议 ROBOTSTXT_OBEY = False 5.是否支持cookie，cookiejar进行操作cookie COO
scrapy的初始化的一些设定
ragerabbitr的博客
12-25 666
scrapy的初始化的一些设定，
scrapy 中动态UA的使用
追随内心
04-19 522
可以通过middlewares.py 动态的设置一个UA
Scrapy框架--settings配置 （详解）
m0_67093160的博客
06-27 2505
settings配置详解
scrapy 设置随机UA
菜鸡小白的成长记录
10-11 1775
爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单。 1.常规设置 UA 首先，说一下常规情况不使用 Scrapy 时的用法，比较方便的方法是利用 fake_useragent包，这个包内置大量的 UA 可以随机替换，这比自己去搜集罗列要方便很多，下面来看一下如何操作。 首先，安装好fake_useragent包，一行代码搞定： pip install fake-useragent 然后，就可以测试了：
scrapy框架配置随机延时、UA、IP
12-21
在Scrapy的`settings.py`文件中，有一个默认的下载延迟设置`DOWNLOAD_DELAY = 2`，这意味着每次请求之间会有2秒的间隔。为了实现随机延时，我们需要自定义中间件。在`settings.py`中添加以下配置： ```python ...
Scrapy框架基本命令与settings.py设置
09-18
### Scrapy框架基本命令与settings.py设置详解 #### Scrapy框架基本命令 Scrapy是一款用于Python的快速高级网络爬虫框架，它可以帮助开发者快速编写出能够抓取网站内容的应用程序。下面详细介绍Scrapy的一些基本...
scrapy 动态IP、随机UA、验证码
weixin_33862514的博客
08-10 219
随机UA https://github.com/hellysmile/fake-useragent DOWNLOADER_MIDDLEWARES增加自定义 from fake_useragent import UserAgent class RandomUserAgentMiddlware(object): # 随机更换user-agent def __init__(self,...
scrapy框架-反爬虫与绕过方法+setting动态配置
weixin_33852020的博客
07-13 5263
反爬虫与绕过方法 反爬虫的技术越来越丰富，种类也越来越多，以下归纳爬虫与反爬虫的应对措施和绕过方法。 小蜘蛛 甲.对网站感兴趣，分析网络请求并写爬虫进行数据爬取 乙.监控发现某时间段访问增大，IP相同，user-agent都是python，判断是爬虫，直接限制访问（不是封IP） 甲.随机切换us...
Scrapy配置文件设置(全网最全）
ak_bingbing的博客
01-18 2005
默认为 True，表示启用，我们都知道http是无痕迹的，服务器端识别客户端cookie的存在，比如一些需要登录的页面，我们需要告知我们是谁，这是需要用到cookie。表示Scrapy的重定向功能，当设置为False时，Scrapy将不会自动处理服务器返回的重定向响应，而是将重定向的响应直接返回给回调函数。​ 之前在做爬虫项目的时候，老报错或有问题，我看了网上很多文章，但是都不是很全面，在这里写一篇博客给大家讲讲scrapy文件中的setting.py文件，我们如何使用。可以设置为一个整数，单位为秒。
scrapy框架基本设置
majiexiong的博客
08-27 617
个人记录帖，方便于后面的代码运行， 首先是scrapy中的setting.py # -*- coding: utf-8 -*- # Scrapy settings for mjx_project project # # For simplicity, this file contains only settings considered important or # commonly us...
Scrapy设置之深入
04-11 1965
Scrapy使用一些后辍为_BASE的设置项来存储框架扩展的默认值（比如FEED_EXPORTERS_BASE），可以在settings.py文件或者命令行用不加_BASE后辍的设置项来设置它们（比如FEED_EXPORTERS）。Scrapy用DOWNLOADER或者SCHEDULER设置项设置了这些系统必要的组件的类或包的名字。可以从默认的下载器(scrapy.core.downloader.D
Scrapy爬虫框架 通过下载器中间件进行添加代理和更换UA
模板君MuBanJun.CN
05-22 1529
中间件：1.下载中间件 2.爬虫中间件 作用：系在中间件是处于引擎和下载器之间。批量拦截请求和响应。 拦截请求：1.请求头的伪装 2.添加代理 拦截响应：篡改响应数据（无用）。 Scrapy中使用下载中间件，需要编写一个Downloader Middlewares和我们编写一个pipeline一样，定义一个类，然后在settings中开启。 默认情况在middlewares.py文件中是存在下载中间件和爬虫中间件的，这里我们不用可以删掉，这篇文章主要介绍下载中间件的使用。 我们可以精简一下middlew
在Scrapy框架内实现随机更换UA（用户代理）功能
SoraAkalin的博客
02-23 518
准备工作 在终端中输入pip install fake-useragent来安装fake-useragent模块 待安装完成后进行下一步 启用随机更换UA功能 先打开middlewares.py文件，在其最后导入fake-useragent模块 from fake_useragent import UserAgent class RandomUserAgentMidddlware(object)...
Scrapy 实践指南1——常用配置
qq_33129963的博客
06-30 948
scrapy 配置实践, settings.py, spiders, middlewares, pipelines
Scrapy框架中的 UA伪装
weixin_30566111的博客
12-18 427
例如：百度输入ip查看是自己本机的ip，通过UA伪装成其他机器的ip, 爬虫代码： 1 import scrapy 2 3 4 class UatestSpider(scrapy.Spider): 5 name = 'UATest' 6 # allowed_domains = ['www.xxx.com'] 7 start_urls...
python scrapy框架UA池和代理池
weixin_30672019的博客
05-14 416
python scrapy架构图：https://www.cnblogs.com/iamjianghao/p/10862947.htm 一.下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）...
scrapy 自定义UA、代理中间件
一只小爬虫的博客
06-02 850
scrapy框架自定义中间件
scrapy-client使用方法
最新发布
03-17
### 关于 Scrapy-Client 的使用 尽管当前提供的引用并未直接提及 `Scrapy-Client`，但从上下文中可以推测您可能希望了解如何基于 Scrapy 和其扩展工具（如 Scrapy-Redis）构建客户端应用或执行特定操作。以下是对 Scrapy 及其相关组件的深入分析。 #### 什么是 Scrapy-Client？ 严格来说，“Scrapy-Client” 并不是一个官方术语或模块名称。通常情况下，开发者会通过编写脚本调用 Scrapy 命令行接口或者利用 API 来启动爬虫实例并获取数据。这种行为可被理解为一种 “客户端模式”。因此，在此场景下讨论的是如何通过命令行或其他方式运行 Scrapy 爬虫项目[^1]。 #### 如何运行一个简单的 Scrapy 脚本 假设您的目录结构类似于引用中的描述[^2]： ```plaintext example/ ├── scrapy.cfg └── example ├── __init__.py ├── items.py ├── middlewares.py ├── pipelines.py ├── settings.py └── spiders ├── __init__.py └── my_crawlspider.py/my_redisspider.py/my_rediscrawlspider.py ``` 可以通过以下命令来运行指定的 Spider 文件: ```bash scrapy runspider example/spiders/myspider_redis.py ``` 上述命令适用于单文件形式的 Spider 实现。如果已经创建了一个完整的 Scrapy 项目，则需切换到项目根目录后执行如下指令： ```bash scrapy crawl your_spider_name ``` 其中 `your_spider_name` 应替换为您实际定义的爬虫名字。 #### 配合 Scrapy-Redis 使用 当涉及到分布式爬取时，推荐采用 **Scrapy-Redis** 插件完成任务共享与去重等功能[^3]。为了启用这些特性，需要调整配置项至 `settings.py` 中[^5]: ```python # 启用 Redis 调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 设置请求指纹存储在 Redis 中 DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter' # 将所有爬过的 URL 存入 Redis 数据库中 REDIS_URL = None # 或者提供具体的连接字符串，例如 redis://localhost:6379 ``` 以上设置允许多个节点访问同一个 Redis 实例从而协同工作。 #### 自定义中间件支持 对于某些特殊需求，比如动态代理、Cookie 处理等，可通过开发自定义 Downloader Middleware 达成目的[^4]。下面展示一段基础模板代码供参考： ```python from scrapy import signals import random class RandomUserAgentMiddleware(object): def process_request(self, request, spider): ua = random.choice(['Mozilla/5.0', 'Chrome/80']) request.headers.setdefault('User-Agent', ua) def process_response(self, request, response, spider): return response def process_exception(self, request, exception, spider): pass ``` 最后记得更新 `settings.py` 添加新类路径名： ```python DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.RandomUserAgentMiddleware': 400, } ``` --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值