运行 Scrapy spider，报 AttributeError: 'set' object has no attribute 'items' 错误

最新推荐文章于 2023-01-04 16:09:38 发布

bubble_is_paopao

最新推荐文章于 2023-01-04 16:09:38 发布

阅读量2.4k

点赞数

分类专栏： python scrapy

本文链接：https://blog.youkuaiyun.com/weixin_42697449/article/details/88541990

版权

在运行Scrapy爬虫时遇到AttributeError，问题源于'custom_settings'中ITEM_PIPELINES配置错误，将其从set更改为dict，例如：ITEM_PIPELINES = {'my_pipeline': 300}，300表示pipeline的优先级。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行 Scrapy spider，报 AttributeError: 'set' object has no attribute 'items' 错误

通过scrapy crawl 运行某个 spider时，报 AttributeError: 'set' object has no attribute 'items' 错误，具体错误日志如下：

D:\PyCharmSource\ttjj_spider>scrapy crawl GetAllFundQuotationSpider
2019-03-13 21:20:57 [scrapy.utils.log] INFO: Scrapy 1.5.2 started (bot: ttjj_spider)
2019-03-13 21:20:57 [scrapy.utils.log] INFO: Versions: lxml 4.3.0.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 18.9.0, Python 3.7.2 (tag
s/v3.7.2:9a3ffc0492, Dec 23 2018, 22:20:52) [MSC v.1916 32 bit (Intel)], pyOpenSSL 19.0.0 (OpenSSL 1.1.1a  20 Nov 2018), cryptography 2.5, Platform Windows-10-10.
0.16299-SP0
Traceback (most recent call last):
  File "e:\python\python37\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec