cc9200的博客

代理IP总资源有限 向代 理商请求IP的速度有限制 单个IP并发限制 单个IP有时效，且不统一 目标网站封IP策略未可知，只能试探

rules = ( Rule(LinkExtractor(allow=r'bizhi/'), callback='parse_item', follow=True), Rule(LinkExtractor(tags=['img'],attrs='src'), callback='download_jpg',follow=False), ) def d...