苦苦思索的吃瓜群众博客

scrapy常用命令

【scrapy小知识】获取settings.py的配置内容最近在settings.py里面写了些自己定义参数，但是不知道怎么调用settings.py， 搜索了下是这个么用法就可以获取settings.py的内容了from scrapy.utils.project import get_project_settingsif __name__ == '__main__': settings = get_project_settings() print(settings) pr

jsonpath 快速查找json利器jsonpath的地址https://github.com/json-path/JsonPathJsonPath与XPath语法对比：Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。XPathJSONPath描述/$根节点.@现行节点/.or[]取子节点…n/a取父节点，Jsonpath未支持//…就是不管位置，选择所有符合条件的条件**匹配所有元素节

启动scrpayd时报错： builtins.NotImplementedError: spawnProcess not available since pywin32 is not installe执行命令curl http://localhost:6800/schedule.json -d project=project -d spider=spider时报错 Traceback (most recent call last): File "G:\code\finacial_

scrapy.loader.processors.TakeFirst is deprecated, instantiate itemloaders.processors.TakeFirst inste今天跑爬虫的时候突然发现有这个问题看了下之前是这样引用的from scrapy.loader.processors import Join, MapCompose, TakeFirst, Identity看了下，现在需要这样引用从scrapy剥离出来了from itemloaders.proces