RayMand168的博客

官网下载连接 https://redis.io/download linux下配置 选择Stable(5.0)下的Download 5.0.0 链接进行下载 （stable是稳定版本，默认下载的是linux版本） 下载完毕后，通过 xftp 传输到 /opt 文件夹 进入opt文件夹，解压文件,进入到解压文件夹 4.修改.conf 文件，1.将bind 127.0.0.1注释。2.关闭保护模式 protected-mode：yes改为no 3.daemonize 改为 yes（表示可以后台运行） 5.

String 命令 解释 get key 获取key的值 set key v 设置key的值 del key 删除key的值 incr key 将储值加1 decr key 将储值减1 List 命令 解释 rpush key [v…] 将一个或多个加入列表右端 lpush key [v…] 将一个或多个加入列表左端 rpop key 移除并返回最右端的元素 lpop key 移除并返回列表最左端的元素 参考链接 Redis

导读 概念：搭建一个分布式的机群，让其对一组资源进行分布式爬取。 作用：提升爬虫的效率 如何实现分布式？ 1.安装scrapy-redis的组件 2.scrapy-redis组件的作用： 可以给原生的scrapy框架提供可以被共享的调度器和管道。 实现流程 1.创建一个工程 2.创建一个基于CrawlSpider的爬虫文件。 3.修改当前的爬虫文件： 1. 导包： ```from scrapy_redis.spiders import RedisCrawlSpide