redis-crawlspider
1,建立项目
Scrapy startproject book
cd book
scrapy genspider -t crawl amazon amazon.cn
2, 与scrapy_redis不同的是继承的类不同
from scrapy_redis.spiders import RedisCrawlSpider
from scrapy.spiders import CrawlSpider, Rule
class AmazonSpider(RedisCrawlSpider):
原创
2020-10-02 23:19:50 ·
228 阅读 ·
0 评论