从源码开始学习Scrapy系列11-settings指令

最新推荐文章于 2022-07-11 07:36:00 发布

风中追风风

最新推荐文章于 2022-07-11 07:36:00 发布

阅读量308

点赞数

CC 4.0 BY-SA版权

分类专栏： scrapy 从源码开始学习Scrapy 文章标签： scrapy

本文链接：https://blog.youkuaiyun.com/wang1472jian1110/article/details/80395536

scrapy 同时被 2 个专栏收录

18 篇文章

订阅专栏

从源码开始学习Scrapy

15 篇文章

订阅专栏

本文介绍如何使用settings指令获取Scrapy项目的配置信息。通过不同参数选项可以获取到配置的具体值，如布尔值、整数值等，并针对不同类型的配置输出相应格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

settings指令用来获取当前爬虫指定配置项的配置信息

代码调试

进入settings模块的run方法

获取当前爬虫进程的settings配置，这里就涉及到如果是在scrapy项目中运行，则项目的settings配置优先，有覆盖权利，否则使用系统默认的settings，这个之前说过，在此再次废话一边，因为。。。实在没啥可说得了-。-

settings = self.crawler_process.settings

获取指定配置项

if opts.get:
    s = settings.get(opts.get)
    if isinstance(s, BaseSettings):
        print(json.dumps(s.copy_to_dict()))
    else:
        print(s)
elif opts.getbool:
    print(settings.getbool(opts.getbool))
elif opts.getint:
    print(settings.getint(opts.getint))
elif opts.getfloat:
    print(settings.getfloat(opts.getfloat))
elif opts.getlist:
    print(settings.getlist(opts.getlist))