软件工程

crawlSpider是Spider的派生类，其继承于Spider类，除了继承过来的属性外（name,allow_domains)，还提供了新的属性和方法。多用于爬取有规则的网站crawlSpider特有属性rules: 是Rule对象的集合，用于匹配目标网站并排除干扰rules的参数为：ink_extractor, : linkExtractor对象callback=None, ...

Scrapy架构Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载Scrapy Engine(引擎)发送...

可在pipeline中自定义一个图片类来继承Scrapy的图片类(ImagesPipeline[可以实现异步下载])，并重写ImagesPipeline的方法，来实现图片的异步下载Scrapy的ImagesPipeline流程在spider中爬取需要下载的图片链接，将其放入item中的image_urls.spider将其传送到pipieline当ImagePipeline处理时，它会检...