Python的scrapy爬虫框架—Rule

解释：
Rule是在定义抽取链接的规则，上面的两条规则分别对应列表页的各个分页页面和详情页，关键点在于通过restrict_xpath来限定只从页面特定的部分来抽取接下来将要爬取的链接。

follow=False(不跟进), 只提取首页符合规则的url，然后爬取这些url页面数据，callback解析
follow=True(跟进链接), 在次级url页面中继续寻找符合规则的url,如此循环，直到把全站爬取完毕

Rule(LinkExtractor(allow=(r'https://www.23us.so/top/lastupdate_'),), follow=True),
Rule(LinkExtractor(allow=(r'\d+/index.html'),deny=(r'https://www.23us.so/top/postdate_')),callback='parse_item', follow=True),
        

3.CrawlSpider详解
在Scrapy基础——Spider中，我简要地说了一下Spider类。Spider基本上能做很多事情了，但是如果你想爬取知乎或者是简书全站的话，你可能需要一个更强大的武器。
CrawlSpider基于Spider，但是可以说是为全站爬取而生。

简要说明

CrawlSpider是爬取那些具有一定规则网站的常用的爬虫，它基于Spider并有一些独特属性

allow：这里用的是re过滤，我们其实就是start_urls加上我们这个匹配到的具体链接下的内容。