2018_04_20 redis主从复制搭建及原理

Redis的主从复制，是为了分担redis读的压力，采用的结构大多为一主（master）多从（slave），主写从读，因为大多数电商网站中，数据往往是写少读多，所以为了缓解这种压力，采取主从复制的这种方式。

主从复制两种方式：

（1）全量同步（SYNC）：Redis的全量复制一般发生在Slave初始化阶段，这是slave会将master上的所有数据都复制一份。

全量同步流程：从服务器连接主服务器，发送SYNC命令；主服务器接收到命令后，开始生成RDB文件并使用缓冲区记录此后执行的所有写命令；主服务器的RDB文件生成后，会向所有从服务器发送快照文件，并且在发送期间继续记录被执行的写命令（非阻塞）；从服务器收到快照文件后，丢弃所有数据，载入新的快照文件；主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；从服务器完成快照载入后，开始接收命令请求，并执行来自主服务器缓冲区的写命令。

当上面的所有流程都走完后，从服务器此时就可以接收来自用户的读请求了。

（2）增量同步：Redis的增量复制是指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程，增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令。

redis 2.8版本以前，并不支持部分同步（PSYNC），当主从服务器之间的连接断掉之后，master服务器和slave服务器之间都是进行全量数据同步，但是从redis 2.8开始，即使主从连接中途断掉，也不需要进行全量同步，因为从这个版本开始融入了部分同步的概念。部分同步的实现依赖于在master服务器内存中给每个slave服务器维护了一份同步日志和同步标识，每个slave服务器在跟master服务器进行同步时都会携带自己的同步标识和上次同步的最后位置。当主从连接断掉之后，slave服务器隔断时间(默认1s)主动尝试和master服务器进行连接，如果从服务器携带的偏移量标识还在master服务器上的同步备份日志中，那么就从slave发送的偏移量开始继续上次的同步操作，如果slave发送的偏移量已经不再master的同步备份日志中(可能由于主从之间断掉的时间比较长或者在断掉的短暂时间内master服务器接收到大量的写操作)，则必须进行一次全量更新。在部分同步过程中，master会将本地记录的同步备份日志中记录的指令依次发送给slave服务器从而达到数据一致。

Redis的主从同步策略：

主从刚刚建立的时候，进行全量同步，全量同步结束后，进行增量同步。如果有特殊时期（例如，从服务器宕机等），slave从服务器可以在任何时候发起全量同步请求，redis的策略是，无论什么时候，都会先尝试执行增量同步，如果不成功，会执行全量同步。

主从复制的特点：

(1)采用异步复制;
(2)一个主redis可以含有多个从redis;
(3)每个从redis可以接收来自其他从redis服务器的连接;
(4)主从复制对于主redis服务器来说是非阻塞的，这意味着当从服务器在进行主从复制同步过程中，主redis仍然可以处理外界的访问请求;
(5)主从复制对于从redis服务器来说也是非阻塞的，这意味着，即使从redis在进行主从复制过程中也可以接受外界的查询请求，只不过这时候从redis返回的是以前老的数据，如果你不想这样，那么在启动redis时，可以在配置文件中进行设置，那么从redis在复制同步过程中来自外界的查询请求都会返回错误给客户端;(虽然说主从复制过程中对于从redis是非阻塞的，但是当slave从master同步过来最新的数据后还需要将新数据加载到内存中，在加载到内存的过程中是阻塞的，在这段时间内的请求将会被阻塞，但是即使对于大数据集，加载到内存的时间也是比较多的);
(6)主从复制提高了redis服务的扩展性，避免单个redis服务器的读写访问压力过大的问题，同时也可以给为数据备份及冗余提供一种解决方案;
(7)为了避免主redis服务器写磁盘压力带来的开销，可以配置让主redis不在将数据持久化到磁盘，而是通过连接让一个配置的从redis服务器及时的将相关数据持久化到磁盘，不过这样会存在一个问题，就是主redis服务器一旦重启，因为主redis服务器数据为空，这时候通过主从同步可能导致从redis服务器上的数据也被清空;

redis主从复制几个主要问题说明。

(1)在上面的全量同步过程中，master会将数据保存在rdb文件中然后发送给slave服务器，但是如果master上的磁盘空间有效怎么办呢?那么此时全部同步对于master来说将是一份十分有压力的操作了。此时可以通过无盘复制来达到目的，由master直接开启一个socket将rdb文件发送给slave服务器。( 无盘复制一般应用在磁盘空间有限但是网络状态良好的情况下)

(2)主从复制结构，一般slave服务器不能进行写操作，但是这不是死的，之所以这样是为了更容易的保证主和各个从之间数据的一致性，如果slave服务器上数据进行了修改，那么要保证所有主从服务器都能一致，可能在结构上和处理逻辑上更为负责。不过你也可以通过配置文件让从服务器支持写操作。(基本不会这么做，因为会引发很大的数据丢失风险。。。)

(3)主从服务器之间会定期进行通话，但是如果master上设置了密码，那么如果不给slave设置密码就会导致slave不能跟master进行任何操作，所以如果你的master服务器上有密码，那么也给slave相应的设置一下密码吧(通过设置配置文件中的masterauth);

(4)关于slave服务器上过期键的处理，由master服务器负责键的过期删除处理，然后将相关删除命令已数据同步的方式同步给slave服务器，slave服务器根据删除命令删除本地的key。

Redis在linux系统中的安装，以及主从复制的配置：

1、在/usr/local/src/redis路径下，建立两个文件夹，一个主redis，一个从redis，redis-master和redis-slave，分别执行mkdir redis-master和mkdir redis-slave命令

2、cp redis-3.2.10.tar.gz /usr/local/src/redis/redis-master 和cp redis-3.2.10.tar.gz /usr/local/src/redis/redis-slave（将linux服务器中的reids文件copy到指定文件夹下）

3、tar xvf redis-3.2.10.tar.gz  （进入，redis-master,解压redis包）

4、make    进入redis目录，进行make编译

5、make install PREFIX=/usr/local/src/redis/redis-master/redis-3.2.10    （安装redis，PREFIX参数指定redis的安装目录，如果linux系统中并没有安装gcc环境，会提示安装失败，就执行下面这条命令，执行完毕后，再执行make install）

yum install gcc

6、cp redis.conf /usr/local/src/redis/redis-slave/redis-3.2.10/bin   （将redis.conf文件拷贝到bin目录下）

以上就是一个redis安装在linux中的步骤，在bin目录中./redis-server redis.conf即可后台启动redis了！

下面开始重点介绍下，如何配置主从复制，相当简单的配置！

首先准备好两个redis，步骤与上同！

重点：

进入bin目录下的redis.conf配置文件，vim修改其中的几个配置项

主redis中配置：

port 6379
masterauth 123456 （设置主redis的密码，可以无）
pidfile /var/run/redis_6379.pid
logfile "/data/logs/redis.master.log"
daemonize yes

从redis配置：（我懒，我只搭了一个slave，正常情况下，至少是两个）

port 6380   （redia启动时的端口号，保证不同，并且不与其他进程端口冲突即可）
masterauth 123456    （主服务器的密码）
requirepass 123456    （从服务器的密码）
pidfile /var/run/redis_6380.pid
logfile "/data/logs/redis.slave.log"
slaveof 127.0.0.1 6379
daemonize yes

上面标红的三行配置，可以不配置。

总结一句话，就是在从服务器的redis.conf配置文件中加上一句

slaveof 127.0.0.1 6379   (slaveof 主服务器ip 主服务器端口)

可以使用info replication命令检查，主从redis是否生效

./redis-cli -h 127.0.0.1 -p 6379    （连接端口号为6379的主服务器）

./redis-cli -h 127.0.0.1 -p 6380   （连接端口号为6380的从服务器）

看上图，已经看出，master和slave已经起作用了，为了进一步测试，可以在主服务器set，从服务器get，并且，在从服务器中进行增删改操作是不允许的，那么主从就配置成功了！