qq_36063562的博客

将写好scrapy 爬虫改为 增量式爬虫只需要在settings配置文件配置相关参数 1. 爬虫是不用动 2. 修改配置文件 # 2.1 配置去重类: 用于把请求的指纹数据存储到Redis的set集合中 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 2.1 配置调度器类: 用于把请求对象序列化为二进制数据, 存储到Red...

SQLite 1.修改pipelines.py文件加入如下代码 # 爬取到的数据写入到SQLite数据库 import sqlite3 class SQLitePipeline(object): #打开数据库 def open_spider(self, spider): db_name = spider.settings.get('SQLITE_DB_NAME'...