RUN__IT # scrapy-redis配置文件setting

最新推荐文章于 2024-02-25 21:44:37 发布
原创 最新推荐文章于 2024-02-25 21:44:37 发布 · 243 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个使用Scrapy-Redis实现的分布式爬虫项目配置细节，包括项目的命名、模块路径、User-Agent设置、Robots.txt遵守情况、管道配置、去重队列、调度器、Redis连接信息等关键参数。 
BOT_NAME = 'redisPro'

SPIDER_MODULES = ['redisPro.spiders']
NEWSPIDER_MODULE = 'redisPro.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'redisPro (+http://www.yourdomain.com)'
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
    # 'redisPro.pipelines.RedisproPipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 300,
}


# 使用scrapy-redis组件的去重队列
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 是否允许暂停
SCHEDULER_PERSIST = True

# 如果redis服务器不在自己本机，则需要如下配置
REDIS_HOST = '172.20.10.9'  # 存储到的redsi服务器
REDIS_PORT = 6379
Scrapy - bilibili视频信息爬取，使用scrapy-redis分布式，b站抓取速度约为16核服务器2500万条/天
python狗刨笔记
06-07 2810
bilibili_video_stat https://github.com/Wangler2333/bilibili_video_stat 爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析 1.提供代理ip池 2.提供user agent池 3.使用scrapy-redis分布式 4.使...
scrapy-redis所有request爬取完毕，如何解决爬虫空跑问题？
Kosmoo的博客
12-22 9729
scrapy-redis所有request爬取完毕，如何解决爬虫空跑问题？1. 背景 根据scrapy-redis分布式爬虫的原理，多台爬虫主机共享一个爬取队列。当爬取队列中存在request时，爬虫就会取出request进行爬取，如果爬取队列中不存在request时，爬虫就会处于等待状态，行如下：E:\Miniconda\python.exe E:/PyCharmCode/redisClawer
scrapy redis配置文件setting参数详解
01-21
scrapy项目 setting.py #Resis 设置 #使能Redis调度器 SCHEDULER = 'scrapy_redis.scheduler.Scheduler' #所有spider通过redis使用同一个去重过滤器 DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter' #不清除Redis队列、这样可以暂停/恢复 爬取 #SCHEDULER_PERSIST = True #SCHEDULER_QUEUE_CLASS ='scrapy_redis.queue.PriorityQueue' #默认队列，优先级队列 #
scrapy_redis实现分布式配置文件
qq_38393270的博客
05-24 218
scrapy框架只能单机爬取，不能做分布式，配合redis可实现分布式爬虫。 实现分布式爬虫需要三类服务器，需要自己搭建 一：redis服务器，即url调度器，所有分布式节点需要在此服务器中读取url等信息 二：节点服务器，存放所有经过scrapy_redis配置过的项目文件 三：目标数据库服务器，用于持久化存储爬取的数据，搭建的数据库可以是redis，mysql，mongo等 配置步骤： 1.需要已经开发完成的单机的基于scrapy框架的爬虫项目 2.配置setting.py文件，需要配置的已在注释中写明
scrapy-redis分布式 简单settings配置
风华浪浪的博客
06-02 2327
# Scrapy settings for example project # For simplicity, this file contains only the most important settings by default. #All the other settings are documented here: # http://doc.scrapy.org/topic...
Python 网络爬虫：Scrapy-redis 的简单配置及初应用
泾溪石险人兢慎，终岁不闻倾覆人。却是平流无石处，时时闻说有沉沦。
02-22 987
Python 网络爬虫：Scrapy-redis 的简单配置及初应用 文章目录Python 网络爬虫：Scrapy-redis 的简单配置及初应用前言一、scrapy-redis是什么？二、使用步骤1.首先当然是安装redis啦2.scrapy-redis相关配置3.代码部分(1) 分析页面情况(2) 编写爬虫文件(3) 编写items文件：(4) 编写pipelines文件：(4) 编写setting文件：总结 前言 最近有一段时间没有更新自己的笔记了，一是因为这段时间工作忙一点在学很多新知识，二是
scrapy-redis的settings文件配置
阿熊的博客
03-28 620
提前安装scrapy_redis库，下载redis数据库，打开redis服务端，然后直接创建scrapy文件，最后添加以下常量至settings文件即可实现分布式 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PE...
Python爬虫第三课 Scrapy和Scrapy-redis
fegus的博客
04-27 1096
scrapy的概念和流程 学习目标： 了解 scrapy的概念 了解 scrapy框架的作用 掌握 scrapy框架的运行流程 掌握 scrapy中每个模块的作用 1. scrapy的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 Scrapy文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0
scrapyd服务器跑爬虫+爬虫可视化
duziea的博客
10-29 1062
首先我们需要 pip install scrapyd scrapyd官方文档 scrapyd 是由scrapy 官方提供的爬虫管理工具，它可以管理多个项目，每个项目可以上传多个版本，但默认使用最新版。 启动scrapyd scrapyd 部署项目 scrapyd-client官方文档 pip install scrapyd-client 配置项目下的scrapy.cfg deploy设...
[置顶]使用scrapy_redis，自动实时增量更新东方头条网全站新闻
北风之神的博客
07-06 4149
存储使用mysql，增量更新东方头条全站新闻的标题 新闻简介 发布时间 新闻的每一页的内容 以及新闻内的所有图片。项目文件结构。   这是run.py的内容 1 #coding=utf-8 2 from scrapy import cmdline 3 import redis,time,threading 4 from multiprocessing import Process
爬虫入门五（Scrapy架构流程介绍、Scrapy目录结构、Scrapy爬取和解析、Settings相关配置、持久化方案)
Mchen的博客
02-25 2112
Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。
scrapy-redis配置
小岁月太着急
07-13 2628
Python 版本为 2.7，3.4 或者3.5 。个人使用3.6版本也没有问题 Redis>=2.8 Scrapy>=1.4 Redis-py>=2.1 。 3.X版本的Python 都是自带Redis-py 其余小伙伴如果没有的话、自己 pip 安装一下。 开始搞事！ 开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scra
12.1 scrapy-Redis安装和启动---scrapy爬虫初学者学习过程
weixin_42122125的博客
05-12 3204
内容：Redis内容 + Redis安装（Windows） + 启动Redis（Windows） + RedisDesktopManager查看 作者：Irain QQ：2573396010 微信：18802080892 视频资源链接：https://www.bilibili.com/video/BV1P4411f7rP?p=100 目录内容：Redis内容 + Redis安装（Windows） + 启动Redis（Windows） + RedisDesktopManager查看1 Scrapy-Red
scrapy 中settings.py配置文件详解
fenglei0415的博客
05-24 977
settings.py配置文件中：# -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, this file contains only settings considered important or # commonly used. You can find more ...
爬虫 ：scrapy_redis分布式原理及主从配置
panjunxiao的博客
10-16 704
scrapy-redsi分布式 1.什么分布式？ 由多个计算机共同完成一个任务的模式。 多个计算机共同完成，可以提高效率。 问题：如何让多个计算机协同处理一件事？ 2.scrapy-redis涉及的就是爬虫项目的分布式部署。 我们把一个相同的爬虫项目部署到多个机器上，让多个机器同时爬取，增加爬取效率。 分布式思路： 1.在存入数据的时候，我们可以规定一台电脑是主机，所有人都链接这个电脑数据库存入数...
RUN__IT # 一个简单的爬妹子代码送福利（正则表达式总结）
RUN__IT的博客
04-13 759
先来个诱惑再看代码吧！再来复习下正则表达式吧！ 代码很简单，若有建议请留言！ 案例 import gevent from gevent import monkey import urllib.request import re # 打补丁 monkey.patch_all() def my_download(name,url): """下载并保存""" # 请求 ...
RUN__IT # scrapy框架 添加IP代理池 反反爬
RUN__IT的博客
08-09 750
国内的免费IP代理网站参考: http://www.xicidaili.com/wt https://www.kuaidaili.com/free/ http://www.youdaili.net/Daili/guonei/ http://ip.zdaye.com/FreeIPlist.html 米扑 一 丶 通过中间件添加代理...
RUN__IT# pipeline管道的使用
RUN__IT的博客
08-28 482
pipeline中常用的方法： process_item(self,item,spider):实现对item数据的处理 open_spider(self, spider): 在爬虫开启的时候仅执行一次 close_spider(self, spider): 在爬虫关闭的时候仅执行一次 import json from pymongo import MongoClient class xxxFi...
scrapy-redis的setting.py
最新发布
03-20
### Scrapy-Redis 中 `settings.py` 配置详解 #### 一、基础配置项 Scrapy-Redis 提供了一些核心配置选项来支持分布式爬虫的功能。这些配置通常位于项目的 `settings.py` 文件中。 1. **启用 Redis 调度器** 使用自定义的调度器替代默认的 Scrapy 调度器，从而实现基于 Redis 的请求队列管理[^2]。 ```python SCHEDULER = "scrapy_redis.scheduler.Scheduler" ``` 2. **持久化功能** 启用此功能可以保存未完成的任务到 Redis 数据库，在爬虫中断后重新启动时继续执行任务[^4]。 ```python SCHEDULER_PERSIST = True ``` 3. **去重过滤类** 自定义去重机制，默认会将已访问过的 URL 存储在 Redis Set 结构中以防止重复抓取[^3]。 ```python DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" ``` #### 二、高级配置项 除了上述的基础配置外，还有更多可选参数用于优化性能或调整行为： 1. **指定 Redis 主机名和端口号** 定义连接至哪个 Redis 实例作为共享存储服务[^1]。 ```python REDIS_HOST = 'localhost' REDIS_PORT = 6379 ``` 2. **日志记录级别** 设置调试模式下的详细程度以便更好地监控程序运行状态。 ```python LOG_LEVEL = 'DEBUG' ``` 3. **批量处理大小** 控制每次从 Redis 获取多少条数据进行解析操作，提高效率的同时减少内存占用。 ```python CONCURRENT_REQUESTS = 16 ``` 4. **优先级队列类型** 改变待处理URLs列表的数据结构形式（FIFO/LIFO），影响遍历顺序。 ```python SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' # 默认按权重排序 # 或者可以选择其他类型的队列比如： # scrapy_redis.queue.FifoQueue # 先进先出 # scrapy_redis.queue.LifoQueue # 后进先出 ``` #### 三、示例代码片段 下面展示了一个完整的 `settings.py` 示例文件内容，包含了前面提到的各种重要属性设定： ```python # -*- coding: utf-8 -*- BOT_NAME = 'example' SPIDER_MODULES = ['example.spiders'] NEWSPIDER_MODULE = 'example.spiders' # Crawl responsibly by identifying yourself (and your website) on the user-agent USER_AGENT = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' # Obey robots.txt rules ROBOTSTXT_OBEY = False # Configure maximum concurrent requests performed by Scrapy (default: 16) CONCURRENT_REQUESTS = 32 # Enable and configure the AutoThrottle extension (disabled by default) AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 5 AUTOTHROTTLE_MAX_DELAY = 60 # Enable showing throttling stats for every response received: AUTOTHROTTLE_DEBUG = False # Enable and configure HTTP caching (disabled by default) HTTPCACHE_ENABLED = True HTTPCACHE_EXPIRATION_SECS = 0 HTTPCACHE_DIR = 'httpcache' HTTPCACHE_IGNORE_HTTP_CODES = [] HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage' # Scrapy-Redis Settings SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" REDIS_HOST = 'localhost' REDIS_PORT = 6379 SCHEDULER_PERSIST = True LOG_LEVEL = 'INFO' ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值