python 爬虫创建缓存的几种方式(备忘)

1、最简单，创建一个字典，往字典里存数据，这种数据没法持久化，

2、磁盘缓存，通过在磁盘创建文件，把数据存到磁盘

3、数据库方式，nosql（redis 键值存储 mongo文件存储系统） 数据和关系数据库，

4、request_cache 特定支持requests的缓存模块，request_cache缓存的实现也是基于nosql 数据库的，但是具体实现不需要我们区处理，只要是requests 爬取的网站都会帮我们进行缓存