scrapy源码剖析(scrapy.settings)

模块

  • 模块:scrapy.settings
  • 类:SettingsAttributes BaseSettings Settings

SettingsAttributes

  1. 表示一个基本的属性值,该值被赋予了优先级,使用set方法时,只有传入优先级高于单前属性值的优先级时才会被赋值。

BaseSettings

  • 关键attributes属性,是一个字典,存储每个name下的属性值(SettingsAttributes或BaseSettings),重写了以下方法,用于支持BaseSettings的各种操作,访问BaseSettings对象就好像访问attributes字典各个属性值一样。

    • __getitem__
    • __contains__ ( 支持 in self判断)
    • __delitem__
    • __iter__
    • __len__
  • 关键frozen变量,对BaseSettings的修改操作进行锁定,被锁定的对象进行修改的话会抛出异常,提供了freeze方法,使得锁定生效。

  • 关键操作方法,作为外部各种操作的接口

    • get特定类型数据
    • set \ setdict \ setmodule方法
    • update 增加dict value支持
    • delete

Settings

  • 继承自BaseSettings,初始化时加载默认配置,并且支持了配置文件中的dict属性,作为BaseSettings。使得scrapy加载配置时支持两层嵌套:
    1. key = value and value != dict (value = string|int|…)
    2. key = value and values = dict (dictvalue = string|int|…)

心得

  • 这个模块简直可以剥离出来,搞成一个通用的settings组件自己用。。
    • 支持优先级覆盖
    • 支持字典嵌套
    • 支持配置锁定
    • 通用settings对象方法

souce code

init.py”>https://github.com/chenxilinsidney/scrapy/blob/master/scrapy/settings/init.py

### Scrapy-Redis 中 `settings.py` 配置详解 #### 一、基础配置项 Scrapy-Redis 提供了一些核心配置选项来支持分布式爬虫的功能。这些配置通常位于项目的 `settings.py` 文件中。 1. **启用 Redis 调度器** 使用自定义的调度器替代默认的 Scrapy 调度器,从而实现基于 Redis 的请求队列管理[^2]。 ```python SCHEDULER = "scrapy_redis.scheduler.Scheduler" ``` 2. **持久化功能** 启用此功能可以保存未完成的任务到 Redis 数据库,在爬虫中断后重新启动时继续执行任务[^4]。 ```python SCHEDULER_PERSIST = True ``` 3. **去重过滤类** 自定义去重机制,默认会将已访问过的 URL 存储在 Redis Set 结构中以防止重复抓取[^3]。 ```python DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" ``` #### 二、高级配置项 除了上述的基础配置外,还有更多可选参数用于优化性能或调整行为: 1. **指定 Redis 主机名和端口号** 定义连接至哪个 Redis 实例作为共享存储服务[^1]。 ```python REDIS_HOST = 'localhost' REDIS_PORT = 6379 ``` 2. **日志记录级别** 设置调试模式下的详细程度以便更好地监控程序运行状态。 ```python LOG_LEVEL = 'DEBUG' ``` 3. **批量处理大小** 控制每次从 Redis 获取多少条数据进行解析操作,提高效率的同时减少内存占用。 ```python CONCURRENT_REQUESTS = 16 ``` 4. **优先级队列类型** 改变待处理URLs列表的数据结构形式(FIFO/LIFO),影响遍历顺序。 ```python SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' # 默认按权重排序 # 或者可以选择其他类型的队列比如: # scrapy_redis.queue.FifoQueue # 先进先出 # scrapy_redis.queue.LifoQueue # 后进先出 ``` #### 三、示例代码片段 下面展示了一个完整的 `settings.py` 示例文件内容,包含了前面提到的各种重要属性设定: ```python # -*- coding: utf-8 -*- BOT_NAME = 'example' SPIDER_MODULES = ['example.spiders'] NEWSPIDER_MODULE = 'example.spiders' # Crawl responsibly by identifying yourself (and your website) on the user-agent USER_AGENT = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' # Obey robots.txt rules ROBOTSTXT_OBEY = False # Configure maximum concurrent requests performed by Scrapy (default: 16) CONCURRENT_REQUESTS = 32 # Enable and configure the AutoThrottle extension (disabled by default) AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 5 AUTOTHROTTLE_MAX_DELAY = 60 # Enable showing throttling stats for every response received: AUTOTHROTTLE_DEBUG = False # Enable and configure HTTP caching (disabled by default) HTTPCACHE_ENABLED = True HTTPCACHE_EXPIRATION_SECS = 0 HTTPCACHE_DIR = 'httpcache' HTTPCACHE_IGNORE_HTTP_CODES = [] HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage' # Scrapy-Redis Settings SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" REDIS_HOST = 'localhost' REDIS_PORT = 6379 SCHEDULER_PERSIST = True LOG_LEVEL = 'INFO' ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值