Scrapy中引用settings.py里自定义的配置

最新推荐文章于 2022-03-09 17:17:40 发布

dagger003

最新推荐文章于 2022-03-09 17:17:40 发布

阅读量2.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： scrapy 文章标签： scrapy

本文链接：https://blog.youkuaiyun.com/dagger003/article/details/50488752

scrapy 专栏收录该内容

0 篇文章

订阅专栏

本文详细介绍了如何在Scrapy的middleware和pipeline中使用settings.py中自定义的配置，通过实例演示了如何在初始化阶段获取这些配置，并解释了Scrapy内部是如何将crawler的settings赋给spider的。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在scrapy的middleware或者pipeline中，如果想使用settings.py里自定义的配置，可以通过
middleware.py

    def process_request(self, request, spider):
        print spider.settings['YOUR_SETTINGS']

pipelines.py

    def process_item(self, item, spider):
        print spider.settings['YOUR_SETTINGS']

这是因为在spider初始化时把crawler的settings赋给了spider
scrapy/spiders/__init__.py

    def _set_crawler(self, crawler):
        self.crawler = crawler
        self.settings = crawler.settings
        crawler.signals.connect(self.close, signals.spider_closed)

如果想在middleware初始化时得到，可以这样写
middleware.py

    class testMiddleware(object):

    def __init__(self, settings):
        print type(settings)
        print settings.get('YOUR_SETTINGS')

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)

因为在scrapy/settings/__init__.py中有如下定义：

    def setmodule(self, module, priority='project'):
        self._assert_mutability()
        if isinstance(module, six.string_types):
            module = import_module(module)
        for key in dir(module):
            if key.isupper():
            self.set(key, getattr(module, key), priority)

但是只导入了大写的名字