321day（pyspider使用）

《2018年8月19日》【连续321天】

标题：pyspider使用；

内容：
pyspider：

由于html文档不包含img节点，所以当直接web预览时：

 def index_page(self, response):
         for each in response.doc('li > .tit > a').items():
            self.crawl(each.attr.href, callback=self.detail_page)
         next =response.doc('.next').attr.href
         self.crawl(next, callback=self.index_page)

此时修改参数即可：

self.crawl(each.attr.href, callback=self.detail_page,fetch_type='js')