《三天给你聊清楚redis》第2天看看redis怎么被搞出来的（22036字）-优快云博客

本文围绕Redis展开，介绍了RDB和AOF持久化机制，AOF持久化包含命令追加、写入和同步步骤，还有重写功能以解决文件膨胀问题。阐述了Redis需处理的文件和时间两类事件，以及PUBSUB命令相关操作。此外，讲解了Redis多机复制的旧版和新版方式，新版psync有完整和部分重同步模式。

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！
databases 部分包含着零个或任意多个数据库，以及各个数据库中的键值对数据

EOF 常量的长度为 1 字节，这个常量标志着 RDB 文件正文内容的结束

check_sum 是一个 8 字节长的无符号整数，保存着一个校验和，以此来检查 RDB 文件是否出错或损坏

我并不想深入探究databases的组成。就是知道

RDB 文件是一个经过压缩的二进制文件，由多个部分组成。
对于不同类型的键值对， RDB 文件会使用不同的方式来保存它们即可。

3.2.2、AOF

AOF持久化是通过保存服务器执行的命令来记录状态的。还原的时候再执行一遍即可。

功能的实现可以分为命令追加、文件写入、文件同步三个步骤。

当 AOF 持久化功能处于打开状态时，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器状态的 aof_buf 缓冲区的末尾：

struct redisServer {

// …

// AOF 缓冲区

sds aof_buf;

// …

};

Redis 服务器进程就是一个事件循环

循环中的文件事件负责接收客户端的命令请求，以及向客户端发送命令回复，

而时间事件则负责执行像 serverCron 函数这样需要定时运行的函数。

因为服务器在处理文件事件时可能会执行写命令，使得一些内容被追加到 aof_buf 缓冲区里面，所以在服务器每次结束一个事件循环之前，它都会调用 flushAppendOnlyFile 函数，考虑是否需要将 aof_buf 缓冲区中的内容写入和保存到 AOF 文件里面，这个过程可以用伪代码表示：

def eventLoop():

while True:

处理文件事件，接收命令请求以及发送命令回复

处理命令请求时可能会有新内容被追加到 aof_buf 缓冲区中

processFileEvents()

处理时间事件

processTimeEvents()

考虑是否要将 aof_buf 中的内容写入和保存到 AOF 文件里面

flushAppendOnlyFile()

flushAppendOnlyFile 函数的行为由服务器配置的 appendfsync 选项的值来决定

值为 always 时，服务器在每个事件循环都要将 aof_buf 缓冲区中的所有内容写入到 AOF 文件并且同步 AOF 文件，所以 always 的效率最慢的一个，但从安全性来说， always 是最安全的，因为即使出现故障停机， AOF 持久化也只会丢失一个事件循环中所产生的命令数据。

值为 everysec 时，服务器在每个事件循环都要将 aof_buf 缓冲区中的所有内容写入到 AOF 文件，每隔超过一秒就要在子线程中对 AOF 文件进行一次同步：从效率上来讲， everysec 模式足够快，并且就算出现故障停机，数据库也只丢失一秒钟的命令数据。

值为 no 时，服务器在每个事件循环都要将 aof_buf 缓冲区中的所有内容写入到 AOF 文件，至于何时对 AOF 文件进行同步，则由操作系统控制。

因为处于 no 模式下的 flushAppendOnlyFile 调用无须执行同步操作，所以该模式下的 AOF 文件写入速度总是最快的，不过因为这种模式会在系统缓存中积累一段时间的写入数据，所以该模式的单次同步时长通常是三种模式中时间最长的：从平摊操作的角度来看，no 模式和 everysec 模式的效率类似，当出现故障停机时，使用 no 模式的服务器将丢失上次同步 AOF 文件之后的所有写命令数据。

重写

AOF持久化是保存了一堆命令来恢复数据库，随着时间流逝，存的会越来越多，如果不加以控制，文件过大可能影响服务器甚至计算机。而且文件过大，恢复时需要时间也太长。

所以redis提供了重写功能，写出的新文件不会包含任何浪费时间的冗余命令。

接下来，我们就介绍重写的原理。

其实重写不会对现有的AOF文件进行读取分析等操作，而是通过当前服务器的状态来实现。

假设服务器对键list执行了以下命令s;

127.0.0.1:6379> RPUSH list “A” “B”

(integer) 2

127.0.0.1:6379> RPUSH list “C”

(integer) 3

127.0.0.1:6379> RPUSH list “D” “E”

(integer) 5

127.0.0.1:6379> LPOP list

“A”

127.0.0.1:6379> LPOP list

“B”

127.0.0.1:6379> RPUSH list “F” “G”

(integer) 5

127.0.0.1:6379> LRANGE list 0 -1

“C”
“D”
“E”
“F”
“G”

127.0.0.1:6379>

当前列表键list在数据库中的值就为[“C”, “D”, “E”, “F”, “G”]。要使用尽量少的命令来记录list键的状态，最简单的方式不是去读取和分析现有AOF文件的内容，，而是直接读取list键在数据库中的当前值，然后用一条RPUSH list “C” “D” “E” “F” "G"代替前面的6条命令。

伪代码表示如下

def AOF_REWRITE(tmp_tile_name):

f = create(tmp_tile_name)

遍历所有数据库

for db in redisServer.db:

如果数据库为空，那么跳过这个数据库

if db.is_empty(): continue

写入 SELECT 命令，用于切换数据库

f.write_command("SELECT " + db.number)

遍历所有键

for key in db:

如果键带有过期时间，并且已经过期，那么跳过这个键

if key.have_expire_time() and key.is_expired(): continue

if key.type == String:

用 SET key value 命令来保存字符串键

value = get_value_from_string(key)

f.write_command("SET " + key + value)

elif key.type == List:

用 RPUSH key item1 item2 … itemN 命令来保存列表键

item1, item2, …, itemN = get_item_from_list(key)

f.write_command("RPUSH " + key + item1 + item2 + … + itemN)

elif key.type == Set:

用 SADD key member1 member2 … memberN 命令来保存集合键

member1, member2, …, memberN = get_member_from_set(key)

f.write_command("SADD " + key + member1 + member2 + … + memberN)

elif key.type == Hash:

用 HMSET key field1 value1 field2 value2 … fieldN valueN 命令来保存哈希键

field1, value1, field2, value2, …, fieldN, valueN =\

get_field_and_value_from_hash(key)

f.write_command("HMSET " + key + field1 + value1 + field2 + value2 +\

… + fieldN + valueN)

elif key.type == SortedSet:

用 ZADD key score1 member1 score2 member2 … scoreN memberN

命令来保存有序集键

score1, member1, score2, member2, …, scoreN, memberN = \

get_score_and_member_from_sorted_set(key)

f.write_command("ZADD " + key + score1 + member1 + score2 + member2 +\

… + scoreN + memberN)

else:

raise_type_error()

如果键带有过期时间，那么用 EXPIREAT key time 命令来保存键的过期时间

if key.have_expire_time():

f.write_command("EXPIREAT " + key + key.expire_time_in_unix_timestamp())

关闭文件

f.close()

AOF后台重写

aof_rewrite函数可以创建新的AOF文件，但是这个函数会进行大量的写入操作，所以调用这个函数的线程被长时间的阻塞，因为服务器使用单线程来处理命令请求；所以如果直接是服务器进程调用AOF_REWRITE函数的话，那么重写AOF期间，服务器将无法处理客户端发送来的命令请求；

Redis不希望AOF重写会造成服务器无法处理请求，所以将AOF重写程序放到子进程（后台）里执行。这样处理的好处是：

1）子进程进行AOF重写期间，主进程可以继续处理命令请求；

2）子进程带有主进程的数据副本，使用子进程而不是线程，可以避免在锁的情况下，保证数据的安全性。

还有一个问题，可能重写的时候又有新的命令过来，造成信息不对等，所以redis设置了一个缓冲区，重写期间把命令放到重写缓冲区。

总结

AOF重写的目的是为了解决AOF文件体积膨胀的问题，使用更小的体积来保存数据库状态，整个重写过程基本上不影响Redis主进程处理命令请求；

AOF重写其实是一个有歧义的名字，实际上重写工作是针对数据库的当前状态来进行的，重写过程中不会读写、也不适用原来的AOF文件；

AOF可以由用户手动触发，也可以由服务器自动触发。

3.3、事件

redis服务器是一个事件驱动程序。

需要处理两类事件：

1）文件事件：redis是通过套接字与客户端或者其他服务器连接的，而文件事件就是服务器对套接字操作的抽象。

2）时间事件：服务器对一些定时操作的抽象。

3.3.1、文件事件

redis基于reactor模式开发了自己的网络事件处理器，这个处理器被称作文件事件处理器，它使用IO多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器，当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行，但通过使用 I/O 多路复用程序来监听多个套接字，文件事件处理器既实现了高性能的网络通信模型，又可以很好地与 Redis 服务器中其他同样以单线程方式运行的模块进行对接，这保持了 Redis 内部单线程设计的简单性。

文件事件处理器的构成：

I/O 多路复用程序负责监听多个套接字，并向文件事件分派器传送那些产生了事件的套接字。

I/O 多路复用程序会把所有产生事件的套接字放到一个队列，以有序（sequentially）、同步（synchronously）、每次一个套接字的方式，向文件事件分派器传送套接字。

I/O 多路复用程序可以监听多个套接字的 ae.h/AE_READABLE 事件和 ae.h/AE_WRITABLE 事件

1）当套接字变得可读时（客户端对套接字执行 write 操作，或者执行 close 操作），或者有新的可应答（acceptable）套接字出现时（客户端对服务器的监听套接字执行 connect 操作），套接字产生 AE_READABLE 事件。

2）当套接字变得可写时（客户端对套接字执行 read 操作），套接字产生 AE_WRITABLE 事件。

如果一个套接字又可读又可写的话，那么服务器将先读套接字，后写套接字。

下面介绍各种处理器：

1）连接应答处理器：服务器进行初始化时，程序会将连接应答处理器和服务器监听套接字的 AE_READABLE 事件关联，当有客户端连接（connect）服务器监听套接字的时候，套接字就会产生 AE_READABLE 事件，引发连接应答处理器执行，并执行相应的套接字应答操作。

2）命令请求处理器：客户端连接到服务器后，服务器会将客户端套接字的 AE_READABLE 事件和命令请求处理器关联起来，当客户端发送命令请求时，套接字就会产生 AE_READABLE 事件，引发命令请求处理器执行，并执行相应的套接字读入操作

3）命令回复处理器：服务器有命令回复需要传送给客户端，服务器会将客户端套接字的 AE_WRITABLE 事件和命令回复处理器关联起来，当客户端准备好接收服务器传回的命令回复时，就会产生 AE_WRITABLE 事件，引发命令回复处理器执行，并执行相应的套接字写入操作。

一次完整的连接事件实例：

3.3.2、时间事件

redis时间事件可以分为两类：定时事件、周期性事件，他们的特点就像他们的名字一样。

而一个时间事件主要有三部分：

id：服务器为时间事件创建的全局唯一id，按时间递增，越新的越大

when：unix时间戳，记录到达时间

timeProc：时间事件处理器，是一个函数，时间事件到达时，服务器就会调用处理器来处理事件。

目前版本的redis只使用周期性事件

来看看实现：

服务器把所有时间事件放在一个链表中，每当时间事件执行器执行时，它就遍历链表，调用相应的事件处理器。

但是注意：链表是无序的，不按when属性来排序，当时间事件执行器运行时，必须遍历整个链表。但是，无序链表并不影响时间事件处理器的性能，因为在目前版本中，redis服务器只使用serverCron一个时间事件，就算在benchmark模式下也只有两个事件，服务器几乎是把链表退化成指针使用了。

3.3.3、事件的调度和执行

文件事件和时间事件之间是合作关系，服务器会轮流处理这两种事件，对两种事件的处理都是同步、有序、原子地进行的，处理事件的过程中也不会进行抢占，所以时间事件的实际处理时间通常会比设定的到达时间晚一些。

大概流程为：

是否关闭服务器？---->等待文件事件产生---->处理已经产生的文件事件---->处理已经达到的时间事件---->是否关闭服务器？…

3.4、客户端

redis服务器是典型的一对多服务器，通过使用由IO多路复用技术实现的文件事件处理器，redis服务器使用了单线程单进程的方式来处理请求。

3.4.1客户端的属性

描述符

客户端状态的 fd 属性记录了客户端正在使用的套接字描述符：

typedef struct redisClient {

// …

int fd;

// …

} redisClient;

伪客户端fd 值为 -1 ：伪客户端处理的命令请求来源于 AOF 文件或者 Lua 脚本，而不是网络，所以这种客户端不需要套接字连接。
普通客户端 fd 值为大于 -1 的整数：普通客户端使用套接字来与服务器进行通讯，所以服务器会用 fd 属性来记录客户端套接字的描述符。
标志

客户端的标志属性 flags 记录了客户端的角色（role），以及客户端目前所处的状态：

typedef struct redisClient {

// …

int flags;

// …

} redisClient;

flags 属性的值可以是单个标志：

flags =

也可以是多个标志的二进制或，比如：

flags = | | …

每个标志使用一个常量表示，一部分标志记录了客户端的角色：

在主从服务器进行复制操作时，主服务器会成为从服务器的客户端，而从服务器也会成为主服务器的客户端。 REDIS_MASTER 标志表示客户端代表的是一个主服务器， REDIS_SLAVE 标志表示客户端代表的是一个从服务器。
REDIS_LUA_CLIENT 标识表示客户端是专门用于处理 Lua 脚本里面包含的 Redis 命令的伪客户端。

另一部分标志记录了客户端目前所处的状态：

以下内容为摘抄

REDIS_MONITOR 标志表示客户端正在执行 MONITOR 命令。

REDIS_UNIX_SOCKET 标志表示服务器使用 UNIX 套接字来连接客户端。

REDIS_BLOCKED 标志表示客户端正在被 BRPOP 、 BLPOP 等命令阻塞。

REDIS_UNBLOCKED 标志表示客户端已经从 REDIS_BLOCKED 标志所表示的阻塞状态中脱离出来，

不再阻塞。 REDIS_UNBLOCKED 标志只能在 REDIS_BLOCKED 标志已经打开的情况下使用。

REDIS_MULTI 标志表示客户端正在执行事务。

REDIS_DIRTY_CAS 标志表示事务使用 WATCH 命令监视的数据库键已经被修改，

REDIS_DIRTY_EXEC 标志表示事务在命令入队时出现了错误，

以上两个标志都表示事务的安全性已经被破坏，只要这两个标记中的任意一个被打开，

EXEC 命令必然会执行失败。

这两个标志只能在客户端打开了 REDIS_MULTI 标志的情况下使用。

REDIS_CLOSE_ASAP 标志表示客户端的输出缓冲区大小超出了服务器允许的范围，

服务器会在下一次执行 serverCron 函数时关闭这个客户端，

以免服务器的稳定性受到这个客户端影响。

积存在输出缓冲区中的所有内容会直接被释放，不会返回给客户端。

REDIS_CLOSE_AFTER_REPLY 标志表示有用户对这个客户端执行了 CLIENT_KILL 命令，

或者客户端发送给服务器的命令请求中包含了错误的协议内容。

服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端，然后关闭客户端。

REDIS_ASKING 标志表示客户端向集群节点（运行在集群模式下的服务器）发送了 ASKING 命令。

REDIS_FORCE_AOF 标志强制服务器将当前执行的命令写入到 AOF 文件里面，

REDIS_FORCE_REPL 标志强制主服务器将当前执行的命令复制给所有从服务器。

执行 PUBSUB 命令会使客户端打开 REDIS_FORCE_AOF 标志，

执行 SCRIPT_LOAD 命令会使客户端打开

REDIS_FORCE_AOF标志和 REDIS_FORCE_REPL 标志。

在主从服务器进行命令传播期间，从服务器需要向主服务器发送 REPLICATION ACK 命令，

在发送这个命令之前，从服务器必须打开主服务器对应的客户端的

REDIS_MASTER_FORCE_REPLY 标志，否则发送操作会被拒绝执行。

以上提到的所有标志都定义在 redis.h 文件里面。

PUBSUB 命令和 SCRIPT LOAD 命令的特殊性

通常情况下， Redis 只会将那些对数据库进行了修改的命令写入到 AOF 文件，并复制到各个从服务器：如果一个命令没有对数据库进行任何修改，那么它就会被认为是只读命令，这个命令不会被写入到 AOF 文件，也不会被复制到从服务器。

以上规则适用于绝大部分 Redis 命令，但 PUBSUB 命令和 SCRIPT_LOAD 命令是其中的例外。

PUBSUB 命令虽然没有修改数据库，但 PUBSUB 命令向频道的所有订阅者发送消息这一行为带有副作用，接收到消息的所有客户端的状态都会因为这个命令而改变。因此，服务器需要使用 REDIS_FORCE_AOF 标志，强制将这个命令写入 AOF 文件，这样在将来载入 AOF 文件时，服务器就可以再次执行相同的 PUBSUB 命令，并产生相同的副作用。

SCRIPT_LOAD 命令的与 PUBSUB 命令类似

3.4.2输入缓冲区

客户端状态的输入缓冲区用于保存客户端发送的命令请求：

typedef struct redisClient {

// …

sds querybuf;

// …

} redisClient;

redisClient 实例：

3.4.3命令相关

在服务器将客户端发送的命令请求保存到客户端状态的 querybuf 属性之后，服务器将对命令请求的内容进行分析，并将得出的命令参数以及命令参数的个数分别保存到客户端状态的 argv 属性和 argc 属性：

typedef struct redisClient {

// …

robj **argv;

int argc;

// …

} redisClient;

argv 属性是一个数组，数组中的每个项都是一个字符串对象：其中 argv[0] 是要执行的命令，而之后的其他项则是传给命令的参数。

argc 属性则负责记录 argv 数组的长度。

3.3.4实现函数

当服务器从协议内容中分析并得出 argv 属性和 argc 属性的值之后，服务器将根据项 argv[0] 的值，在命令表中查找命令所对应的命令实现函数。

（命令表是一个字典，字典的键是一个 SDS 结构，保存了命令的名字，字典的值是命令所对应的 redisCommand 结构，这个结构保存了命令的实现函数、命令的标志、命令应该给定的参数个数、命令的总执行次数和总消耗时长等统计信息。）

3.3.5、输出缓冲区

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面，每个客户端都有两个输出缓冲区：

固定大小的缓冲区用于保存那些长度比较小的回复，比如 OK 、简短的字符串值、整数值、错误回复，等等。
可变大小的缓冲区用于保存那些长度比较大的回复，比如一个非常长的字符串值，一个由很多项组成的列表，一个包含了很多元素的集合，等等。

3.3.6、其它

客户端状态的 authenticated 属性用于记录客户端是否通过了身份验证，还有几个和时间有关的属性，叙述是一件挺无聊的事情，不再写。

3.4、命令的执行过程

3.4.1发送命令请求

当用户在客户端中键入一个命令请求时，客户端会将这个命令请求转换成协议格式，然后通过连接到服务器的套接字，将协议格式的命令请求发送给服务器。

3.4.2读取命令请求

当客户端与服务器之间的连接套接字因为客户端的写入而变得可读时，服务器将调用命令请求处理器来执行以下操作：

读取套接字中协议格式的命令请求，并将其保存到客户端状态的输入缓冲区里面。
对输入缓冲区中的命令请求进行分析，提取出命令请求中包含的命令参数，以及命令参数的个数，然后分别将参数和参数个数保存到客户端状态的 argv 属性和 argc 属性里面。
调用命令执行器，执行客户端指定的命令。

3.4.3命令执行器：查找命令实现

命令执行器要做的第一件事就是根据客户端状态的 argv[0] 参数，在命令表（command table）中查找参数所指定的命令，并将找到的命令保存到客户端状态的 cmd 属性里面。

命令表是一个字典，字典的键是一个个命令名字，比如 "set" 、 "get" 、 "del" ，等等；而字典的值是一个个 redisCommand 结构，每个 redisCommand 结构记录了一个 Redis 命令的实现信息。

命令名字的大小写不影响命令表的查找结果

因为命令表使用的是大小写无关的查找算法，无论输入的命令名字是大写、小写或者混合大小写，只要命令的名字是正确的，就能找到相应的 redisCommand 结构。

比如说，无论用户输入的命令名字是 “SET” 、 “set” 、 “SeT” 又或者 “sEt” ，命令表返回的都是同一个 redisCommand 结构。

redis> SET msg “hello world”

redis> set msg “hello world”

redis> SeT msg “hello world”

redis> sEt msg “hello world”

3.4.4命令执行器：执行预备操作

到目前为止，服务器已经将执行命令所需的命令实现函数（保存在客户端状态的 cmd 属性）、参数（保存在客户端状态的 argv 属性）、参数个数（保存在客户端状态的 argc 属性）都收集齐了，但是在真正执行命令之前，程序还需要进行一些预备操作，从而确保命令可以正确、顺利地被执行，这些操作包括：

检查客户端状态的 cmd 指针是否指向 NULL ，如果是的话，那么说明用户输入的命令名字找不到相应的命令实现，服务器不再执行后续步骤，并向客户端返回一个错误。
根据客户端 cmd 属性指向的 redisCommand 结构的 arity 属性，检查命令请求所给定的参数个数是否正确，当参数个数不正确时，不再执行后续步骤，直接向客户端返回一个错误。比如说，如果 redisCommand 结构的 arity 属性的值为 -3 ，那么用户输入的命令参数个数必须大于等于 3 个才行。
检查客户端是否已经通过了身份验证，未通过身份验证的客户端只能执行 AUTH 命令，如果未通过身份验证的客户端试图执行除 AUTH 命令之外的其他命令，那么服务器将向客户端返回一个错误。
如果服务器打开了 maxmemory 功能，那么在执行命令之前，先检查服务器的内存占用情况，并在有需要时进行内存回收，从而使得接下来的命令可以顺利执行。如果内存回收失败，那么不再执行后续步骤，向客户端返回一个错误。
如果服务器上一次执行 BGSAVE 命令时出错，并且服务器打开了 stop-writes-on-bgsave-error 功能，而且服务器即将要执行的命令是一个写命令，那么服务器将拒绝执行这个命令，并向客户端返回一个错误。
如果客户端当前正在用 SUBSCRIBE 命令订阅频道，或者正在用 PSUBSCRIBE 命令订阅模式，那么服务器只会执行客户端发来的 SUBSCRIBE 、 PSUBSCRIBE 、 UNSUBSCRIBE 、 PUNSUBSCRIBE 四个命令，其他别的命令都会被服务器拒绝。
如果服务器正在进行数据载入，那么客户端发送的命令必须带有 l 标识（比如 INFO 、 SHUTDOWN 、 PUBLISH ，等等）才会被服务器执行，其他别的命令都会被服务器拒绝。
如果服务器因为执行 Lua 脚本而超时并进入阻塞状态，那么服务器只会执行客户端发来的 SHUTDOWN nosave 命令和 SCRIPT KILL 命令，其他别的命令都会被服务器拒绝。
如果客户端正在执行事务，那么服务器只会执行客户端发来的 EXEC 、 DISCARD 、 MULTI 、 WATCH 四个命令，其他命令都会被放进事务队列中。
如果服务器打开了监视器功能，那么服务器会将要执行的命令和参数等信息发送给监视器。

当完成了以上预备操作之后，服务器就可以开始真正执行命令了。

3.4.5命令执行器：调用命令的实现函数

在前面的操作中，服务器已经将要执行命令的实现保存到了客户端状态的 cmd 属性里面，并将命令的参数和参数个数分别保存到了客户端状态的 argv 属性和 argc 属性里面，当服务器决定要执行命令时，它只要执行以下语句就可以了：

// client 是指向客户端状态的指针

client->cmd->proc(client);

因为执行命令所需的实际参数都已经保存到客户端状态的 argv 属性里面了，所以命令的实现函数只需要一个指向客户端状态的指针作为参数即可。

3.4.6命令执行器：执行后续工作

在执行完实现函数之后，服务器还需要执行一些后续工作：

如果服务器开启了慢查询日志功能，那么慢查询日志模块会检查是否需要为刚刚执行完的命令请求添加一条新的慢查询日志。
根据刚刚执行命令所耗费的时长，更新被执行命令的 redisCommand 结构的 milliseconds 属性，并将命令的 redisCommand 结构的 calls 计数器的值增一。
如果服务器开启了 AOF 持久化功能，那么 AOF 持久化模块会将刚刚执行的命令请求写入到 AOF 缓冲区里面。
如果有其他从服务器正在复制当前这个服务器，那么服务器会将刚刚执行的命令传播给所有从服务器。

当以上操作都执行完了之后，服务器对于当前命令的执行到此就告一段落了，之后服务器就可以继续从文件事件处理器中取出并处理下一个命令请求了。

3.4.7将命令回复发送给客户端

前面说过，命令实现函数会将命令回复保存到客户端的输出缓冲区里面，并为客户端的套接字关联命令回复处理器，当客户端套接字变为可写状态时，服务器就会执行命令回复处理器，将保存在客户端输出缓冲区中的命令回复发送给客户端。

当命令回复发送完毕之后，回复处理器会清空客户端状态的输出缓冲区，为处理下一个命令请求做好准备。

3.4.8客户端接收并打印命令回复

当客户端接收到协议格式的命令回复之后，它会将这些回复转换成人类可读的格式，并打印给用户观看（假设使用的是 Redis 自带的客户端）

3.5、事务

Redis 事务可以一次执行多个命令，并且带有以下三个重要的保证：

批量操作在发送 EXEC 命令前被放入队列缓存。
收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行。
在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中。

一个事务从开始到执行会经历以下三个阶段：

开始事务。
命令入队。
执行事务。

以下是一个事务的例子，它先以 MULTI 开始一个事务，然后将多个命令入队到事务中，最后由 EXEC 命令触发事务，一并执行事务中的所有命令：

redis 127.0.0.1:6379> MULTI

redis 127.0.0.1:6379> SET book-name “Mastering C++ in 21 days”

QUEUED

redis 127.0.0.1:6379> GET book-name

QUEUED

redis 127.0.0.1:6379> SADD tag “C++” “Programming” “Mastering Series”

QUEUED

redis 127.0.0.1:6379> SMEMBERS tag

QUEUED

redis 127.0.0.1:6379> EXEC

OK
“Mastering C++ in 21 days”
(integer) 3
1. “Mastering Series”
“C++”
“Programming”

详细介绍：

3.5.1事务开始

MULTI 命令的执行标志着事务的开始：

redis> MULTI

MULTI 命令可以将执行该命令的客户端从非事务状态切换至事务状态，这一切换是通过在客户端状态的 flags 属性中打开 REDIS_MULTI 标识来完成的， MULTI 命令的实现可以用以下伪代码来表示：

def MULTI():

打开事务标识

client.flags |= REDIS_MULTI

返回 OK 回复

replyOK()

3.5.2命令入队

当一个客户端处于非事务状态时，这个客户端发送的命令会立即被服务器执行：

redis> SET “name” “Practical Common Lisp”

redis> GET “name”

“Practical Common Lisp”

redis> SET “author” “Peter Seibel”

redis> GET “author”

“Peter Seibel”

与此不同的是，当一个客户端切换到事务状态之后，服务器会根据这个客户端发来的不同命令执行不同的操作：

如果客户端发送的命令为 EXEC 、 DISCARD 、 WATCH 、 MULTI 四个命令的其中一个，那么服务器立即执行这个命令。
与此相反，如果客户端发送的命令是 EXEC 、 DISCARD 、 WATCH 、 MULTI 四个命令以外的其他命令，那么服务器并不立即执行这个命令，而是将这个命令放入一个事务队列里面，然后向客户端返回 QUEUED 回复。

3.5.3事务队列

每个 Redis 客户端都有自己的事务状态，这个事务状态保存在客户端状态的 mstate 属性里面：

typedef struct redisClient {

// …

// 事务状态

multiState mstate; /* MULTI/EXEC state */

// …

} redisClient;

事务状态包含一个事务队列，以及一个已入队命令的计数器（也可以说是事务队列的长度）：

typedef struct multiState {

// 事务队列，FIFO 顺序

multiCmd *commands;

// 已入队命令计数

int count;

} multiState;

事务队列是一个 multiCmd 类型的数组，数组中的每个 multiCmd 结构都保存了一个已入队命令的相关信息，包括指向命令实现函数的指针，命令的参数，以及参数的数量：

typedef struct multiCmd {

// 参数

robj **argv;

// 参数数量

int argc;

// 命令指针

struct redisCommand *cmd;

} multiCmd;

事务队列以先进先出（FIFO）的方式保存入队的命令：较先入队的命令会被放到数组的前面，而较后入队的命令则会被放到数组的后面。

举个例子，如果客户端执行以下命令：

redis> MULTI

redis> SET “name” “Practical Common Lisp”

QUEUED

redis> GET “name”

QUEUED

redis> SET “author” “Peter Seibel”

QUEUED

redis> GET “author”

QUEUED

那么服务器将为客户端创建事务状态：

最先入队的 SET 命令被放在了事务队列的索引 0 位置上。
第二入队的 GET 命令被放在了事务队列的索引 1 位置上。
第三入队的另一个 SET 命令被放在了事务队列的索引 2 位置上。
最后入队的另一个 GET 命令被放在了事务队列的索引 3 位置上。

3.5.4执行事务

当一个处于事务状态的客户端向服务器发送 EXEC 命令时，这个 EXEC 命令将立即被服务器执行：服务器会遍历这个客户端的事务队列，执行队列中保存的所有命令，最后将执行命令所得的结果全部返回给客户端。

EXEC 命令的实现原理可以用以下伪代码来描述：

def EXEC():

创建空白的回复队列

reply_queue = []

遍历事务队列中的每个项

读取命令的参数，参数的个数，以及要执行的命令

for argv, argc, cmd in client.mstate.commands:

执行命令，并取得命令的返回值

reply = execute_command(cmd, argv, argc)

将返回值追加到回复队列末尾

reply_queue.append(reply)

移除 REDIS_MULTI 标识，让客户端回到非事务状态

client.flags &= ~REDIS_MULTI

清空客户端的事务状态，包括：

1）清零入队命令计数器

2）释放事务队列

client.mstate.count = 0

release_transaction_queue(client.mstate.commands)

将事务的执行结果返回给客户端

send_reply_to_client(client, reply_queue)

3.5.5WATCH命令的实现

WATCH命令是一个乐观锁，它可以在EXEC命令执行之前，监视任意数量的数据库键，并在EXEC执行后，检查被监视的键是否至少有一个被修改，如果是，服务器拒绝执行事务，并向客户端返回代表事务执行失败的回复。

/* Redis database representation. There are multiple databases identified

by integers from 0 (the default database) up to the max configured
database. The database number is the ‘id’ field in the structure. */

typedef struct redisDb {

dict dict; / The keyspace for this DB 数据库键空间，保存数据库中所有的键值对*/

dict expires; / Timeout of keys with a timeout set 保存过期时间*/

dict blocking_keys; / Keys with clients waiting for data (BLPOP) */

dict ready_keys; / Blocked keys that received a PUSH 已经准备好数据的阻塞状态的key*/

dict watched_keys; / WATCHED keys for MULTI/EXEC CAS 事物模块，用于保存被WATCH命令所监控的键*/

// 当内存不足时，Redis会根据LRU算法回收一部分键所占的空间，而该eviction_pool是一个长为16数组，保存可能被回收的键

// eviction_pool中所有键按照idle空转时间，从小到大排序，每次回收空转时间最长的键

struct evictionPoolEntry eviction_pool; / Eviction pool of keys */

// 数据库ID

int id; /* Database ID */

// 键的平均过期时间

long long avg_ttl; /* Average TTL, just for stats */

} redisDb;

在每个代表数据库的 server.h/redisDb 结构类型中，都保存了一个 watched_keys 字典，字典的键是这个数据库被监视的键，而字典的值则是一个链表，链表中保存了所有监视这个键的客户端。比如说，以下字典就展示了一个 watched_keys 字典的例子：

每个key后挂着监视自己的客户端。

3.5.6监控的触发

在任何对数据库键空间（key space）进行修改的命令成功执行之后（比如 FLUSHDB 、 SET 、 DEL 、 LPUSH 、 SADD 、 ZREM ，诸如此类）， multi.c/touchWatchedKey 函数都会被调用（修改命令会调用signalModifiedKey()函数来处理数据库中的键被修改的情况，该函数直接调用touchWatchedKey()函数）—— 它检查数据库的 watched_keys 字典，看是否有客户端在监视已经被命令修改的键，如果有的话，程序将所有监视这个/这些被修改键的客户端的 REDIS_DIRTY_CAS 选项打开：

/* “Touch” a key, so that if this key is being WATCHed by some client the

next EXEC will fail. */

// Touch 一个 key，如果该key正在被监视，那么客户端会执行EXEC失败

void touchWatchedKey(redisDb *db, robj *key) {

list *clients;

listIter li;

listNode *ln;

// 字典为空，没有任何键被监视

if (dictSize(db->watched_keys) == 0) return;

// 获取所有监视这个键的客户端

clients = dictFetchValue(db->watched_keys, key);

// 没找到返回

if (!clients) return;

/* Mark all the clients watching this key as CLIENT_DIRTY_CAS */

/* Check if we are already watching for this key */

// 遍历所有客户端，打开他们的 REDIS_DIRTY_CAS 标识

listRewind(clients,&li);

while((ln = listNext(&li))) {

client *c = listNodeValue(ln);

// 设置CLIENT_DIRTY_CAS标识

c->flags |= CLIENT_DIRTY_CAS;

}

3.5.7事务的ACID性质

在传统的关系式数据库中，常常用 ACID 性质来检验事务功能的安全性。

redis事物总是具有前三个性质。

a）原子性atomicity：redis事务保证事务中的命令要么全部执行要不全部不执行。

但是redis不同于传统关系型数据库，不支持回滚，即使出现了错误，事务也会继续执行下去。

因为redis作者认为，这种复杂的机制和redis追求的简单高效不符。并且，redis事务错误通常是编程错误，只会出现在开发环境中，而不会出现在实际生产环境中，所以没必要支持回滚。

b）一致性consistency：redis事务可以保证命令失败的情况下得以回滚，数据能恢复到没有执行之前的样子，是保证一致性的，除非redis进程意外终结。

Redis 的一致性问题可以分为三部分来讨论：入队错误、执行错误、Redis 进程被终结。

入队错误

在命令入队的过程中，如果客户端向服务器发送了错误的命令，比如命令的参数数量不对，等等，那么服务器将向客户端返回一个出错信息，并且将客户端的事务状态设为 REDIS_DIRTY_EXEC 。

因此，带有不正确入队命令的事务不会被执行，也不会影响数据库的一致性。

执行错误

如果命令在事务执行的过程中发生错误，比如说，对一个不同类型的 key 执行了错误的操作，那么 Redis 只会将错误包含在事务的结果中，这不会引起事务中断或整个失败，不会影响已执行事务命令的结果，也不会影响后面要执行的事务命令，所以它对事务的一致性也没有影响。

Redis 进程被终结

如果 Redis 服务器进程在执行事务的过程中被其他进程终结，或者被管理员强制杀死，那么根据 Redis 所使用的持久化模式，可能有以下情况出现：

**内存模式：**如果 Redis 没有采取任何持久化机制，那么重启之后的数据库总是空白的，所以数据总是一致的。

**RDB 模式：**在执行事务时，Redis 不会中断事务去执行保存 RDB 的工作，只有在事务执行之后，保存 RDB 的工作才有可能开始。所以当 RDB 模式下的 Redis 服务器进程在事务中途被杀死时，事务内执行的命令，不管成功了多少，都不会被保存到 RDB 文件里。恢复数据库需要使用现有的 RDB 文件，而这个 RDB 文件的数据保存的是最近一次的数据库快照（snapshot），所以它的数据可能不是最新的，但只要 RDB 文件本身没有因为其他问题而出错，那么还原后的数据库就是一致的。

**AOF 模式：**因为保存 AOF 文件的工作在后台线程进行，所以即使是在事务执行的中途，保存 AOF 文件的工作也可以继续进行，因此，根据事务语句是否被写入并保存到 AOF 文件，有以下两种情况发生：

1）如果事务语句未写入到 AOF 文件，或 AOF 未被 SYNC 调用保存到磁盘，那么当进程被杀死之后，Redis 可以根据最近一次成功保存到磁盘的 AOF 文件来还原数据库，只要 AOF 文件本身没有因为其他问题而出错，那么还原后的数据库总是一致的，但其中的数据不一定是最新的。

2）如果事务的部分语句被写入到 AOF 文件，并且 AOF 文件被成功保存，那么不完整的事务执行信息就会遗留在 AOF 文件里，当重启 Redis 时，程序会检测到 AOF 文件并不完整，Redis 会退出，并报告错误。需要使用 redis-check-aof 工具将部分成功的事务命令移除之后，才能再次启动服务器。还原之后的数据总是一致的，而且数据也是最新的（直到事务执行之前为止）。

c）隔离性Isolation：redis事务是严格遵守隔离性的，原因是redis是单进程单线程模式，可以保证命令执行过程中不会被其他客户端命令打断。

因为redis使用单线程执行事务，并且保证不会中断，所以肯定有隔离性。

d）持久性Durability：持久性是指：当一个事务执行完毕，结果已经保存在永久介质里，比如硬盘，所以即使服务器后来停机了，结果也不会丢失

redis事务是不保证持久性的，这是因为redis持久化策略中不管是RDB还是AOF都是异步执行的，不保证持久性是出于对性能的考虑。

3.5.8重点提炼

事务提供了一种将多个命令打包，然后一次性、有序地执行的机制。
多个命令会被入队到事务队列中，然后按先进先出（FIFO）的顺序执行。
事务在执行过程中不会被中断，当事务队列中的所有命令都被执行完毕之后，事务才会结束。
带有 WATCH 命令的事务会将客户端和被监视的键在数据库的 watched_keys 字典中进行关联，当键被修改时，程序会将所有监视被修改键的客户端的 REDIS_DIRTY_CAS 标志打开。
只有在客户端的 REDIS_DIRTY_CAS 标志未被打开时，服务器才会执行客户端提交的事务，否则的话，服务器将拒绝执行客户端提交的事务。
Redis 的事务总是保证 ACID 中的原子性、一致性和隔离性，当服务器运行在 AOF 持久化模式下，并且 appendfsync 选项的值为 always 时，事务也具有耐久性。

以上就是 Redis 客户端和服务器执行命令请求的整个过程了。

3.6、发布和订阅

3.6.1频道的订阅和退订

当一个客户端执行 SUBSCRIBE 命令，订阅某个或某些频道的时候，这个客户端与被订阅频道之间就建立起了一种订阅关系。

Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里面，这个字典的键是某个被订阅的频道，而键的值则是一个链表，链表里面记录了所有订阅这个频道的客户端：

struct redisServer {

// …

// 保存所有频道的订阅关系

dict *pubsub_channels;

// …

};

每当客户端执行 SUBSCRIBE 命令，订阅某个或某些频道的时候，服务器都会将客户端与被订阅的频道在 pubsub_channels 字典中进行关联。

根据频道是否已经有其他订阅者，关联操作分为两种情况执行：

如果频道已经有其他订阅者，那么它在 pubsub_channels 字典中必然有相应的订阅者链表，程序唯一要做的就是将客户端添加到订阅者链表的末尾。
如果频道还未有任何订阅者，那么它必然不存在于 pubsub_channels 字典，程序首先要在 pubsub_channels 字典中为频道创建一个键，并将这个键的值设置为空链表，然后再将客户端添加到链表，成为链表的第一个元素。

SUBSCRIBE 命令的实现可以用以下伪代码来描述：

def subscribe(*all_input_channels):

遍历输入的所有频道

for channel in all_input_channels:

如果 channel 不存在于 pubsub_channels 字典（没有任何订阅者）

那么在字典中添加 channel 键，并设置它的值为空链表

if channel not in server.pubsub_channels:

server.pubsub_channels[channel] = []

将订阅者添加到频道所对应的链表的末尾

server.pubsub_channels[channel].append(client)

UNSUBSCRIBE 命令的行为和 SUBSCRIBE 命令的行为正好相反 —— 当一个客户端退订某个或某些频道的时候，服务器将从 pubsub_channels 中解除客户端与被退订频道之间的关联：

程序会根据被退订频道的名字，在 pubsub_channels 字典中找到频道对应的订阅者链表，然后从订阅者链表中删除退订客户端的信息。
如果删除退订客户端之后，频道的订阅者链表变成了空链表，那么说明这个频道已经没有任何订阅者了，程序将从 pubsub_channels 字典中删除频道对应的键。

UNSUBSCRIBE 命令的实现可以用以下伪代码来描述：

def unsubscribe(*all_input_channels):

遍历要退订的所有频道

for channel in all_input_channels:

在订阅者链表中删除退订的客户端

server.pubsub_channels[channel].remove(client)

如果频道已经没有任何订阅者了（订阅者链表为空）

那么将频道从字典中删除

if len(server.pubsub_channels[channel]) == 0:

server.pubsub_channels.remove(channel)

3.6.2模式的订阅和退订

前面说过，服务器将所有频道的订阅关系保存起来，与此类似，服务器也将所有模式的订阅关系存在了pubsub_Patterns属性里。

struct redisServer {

// …

// 保存所有频道的订阅关系

list *pubsub_patterns;

// …

};

pubsub_Patterns属性是一个链表，每个结点是被订阅的模式，节点内记录了模式，节点内的client属性记录了订阅模式的客户端。

typedef struct pubsubPattern{

//订阅模式的客户端

redisClient *client;

//被订阅的模式

robj *pattern;

}pubsubPattern;

每当客户端执行PSUBSCRIBE这个命令来订阅某个或某些模式时，服务器会对每个被订阅的模式执行下面的操作：

1）新建一个pubsubPattern结构，设置好两个属性

2）将新节点加到pubsub_patterns尾部

伪代码实现：

def osubscribe(*all_input_patterns):

#遍历所有输入的模式

#记录被订阅的模式和对应的客户端

pubsubPattern=create()

pubsubPattern.client=client

pubsubPattern.pattern=pattern

#插入链表末尾

server.pub_patterns.append(pubsubPattern)

模式退订命令PUNSUBSCRIBE是PSUBSCRIBE的反操作

服务器将找到并删除那些被退订的模式

伪代码如下：（我想吐槽一下这样时间复杂度。。。没有更好的办法吗？）

def osubscribe(*all_input_patterns):

#遍历所有退订的模式

for pattern in all_input_patterns:

#遍历每一个节点

for pubsubPattern in server.pubsub_patterns:

#如果客户端和模式都相同

if client==pubsubPattern.client:

if pattern==pubsubPattern.pattern:

#删除

server.pub_patterns.remove(pubsubPattern)

3.6.3、发送消息

当一个客户端执行PUBLISH 命令将消息发送给频道时，服务器需要：

1）把消息发送给所有本频道的订阅者

具体做法就是去pubsub_channels字典找到本频道的链表，也就是订阅名单，然后发消息

2）将消息发给，包含本频道的所有模式中的所有订阅者

具体做法就是去pubsub_patterns查找包含本频道的模式，并且把消息发送给订阅它们的客户端。

3.6.4、查看订阅信息

redis2.8新增三个命令，用来查看频道和模式的相关信息。

PUBLISH CHANNELS[pattern]用于返回服务器当前被订阅的频道，pattern可写可不写，不写就查看所有，否则查看与pattern匹配的对应频道

这个子命令是通过遍历pubsub_channels字典实现的。

PUBLISH NUMSUB[CHANNEL-1 CHANNEL-2…]返回这些频道的订阅者数量

这个子命令是通过遍历pubsub_channels字典，查看对应链表长度实现的。

PUBLISH NUMPAT返回被订阅模式数量

这个子命令是通过返回pubsub_patterns的长度实现的。

总而言之，PUBSUB 命令的三个子命令都是通过读取 pubsub_channels 字典和 pubsub_patterns 链表中的信息来实现的。

4、多机实现

======

4.1、旧版复制

Redis 的复制功能分为同步（sync）和命令传播（command propagate）两个操作：

同步操作用于将从服务器的数据库状态更新至主服务器当前所处的数据库状态。
命令传播操作用于在主服务器的数据库状态被修改，导致主从服务器的数据库状态出现不一致时，让主从服务器的数据库重新回到一致状态。

同步

当客户端向从服务器发送 SLAVEOF 命令，要求从服务器复制主服务器时，从服务器首先需要执行同步操作，也即是，将从服务器的数据库状态更新至主服务器当前所处的数据库状态。

从服务器对主服务器的同步操作需要通过向主服务器发送 SYNC 命令来完成，以下是 SYNC 命令的执行步骤：

从服务器向主服务器发送 SYNC 命令。
收到 SYNC 命令的主服务器执行 BGSAVE 命令，在后台生成一个 RDB 文件，并使用一个缓冲区记录从现在开始执行的所有写命令。
当主服务器的 BGSAVE 命令执行完毕时，主服务器会将 BGSAVE 命令生成的 RDB 文件发送给从服务器，从服务器接收并载入这个 RDB 文件，将自己的数据库状态更新至主服务器执行 BGSAVE 命令时的数据库状态。
主服务器将记录在缓冲区里面的所有写命令发送给从服务器，从服务器执行这些写命令，将自己的数据库状态更新至主服务器数据库当前所处的状态。

。

命令传播

在同步操作执行完毕之后，主从服务器两者的数据库将达到一致状态，但这种一致并不是一成不变的 —— 每当主服务器执行客户端发送的写命令时，主服务器的数据库就有可能会被修改，并导致主从服务器状态不再一致。

举个例子，假设一个主服务器和一个从服务器刚刚完成同步操作，它们的数据库都保存了相同的五个键 k1 至 k5

如果这时，客户端向主服务器发送命令 DEL k3 ，那么主服务器在执行完这个 DEL 命令之后，主从服务器的数据库将出现不一致：主服务器的数据库已经不再包含键 k3 ，但这个键却仍然包含在从服务器的数据库里面

为了让主从服务器再次回到一致状态，主服务器需要对从服务器执行命令传播操作：主服务器会将自己执行的写命令 —— 也即是造成主从服务器不一致的那条写命令 —— 发送给从服务器执行，当从服务器执行了相同的写命令之后，主从服务器将再次回到一致状态。

缺陷

。

其中可以明显看出重新连接主服务器之后，SYNC命令创建包含k1-k10089的RDB文件。而事实上只需要再同步断线后的k10087-k10089即可。SYNC的“全同步”对于从服务来说是不必要的。

SYNC命令非常消耗资源，原因有三点：

1）主服务器执行BGSAVE命令生成RDB文件，这个生成过程会大量消耗主服务器资源（CPU、内存和磁盘I/O资源）

2）主服务器需要将自己生成的RBD文件发送给从从服务器，这个发送操作会消耗主从服务器大量的网络资源（带宽与流量）

3）接收到RDB文件你的从服务器需要载入RDB文件，载入期间从服务器会因为阻塞而导致没办法处理命令请求。

4.2新版复制

sync虽然解决了数据同步问题，但是在数据量比较大情况下，从库断线从来依然采用全量复制机制，无论是从数据恢复、宽带占用来说，sync所带来的问题还是很多的。于是redis从2.8开始，引入新的命令psync。

psync有两种模式：完整重同步和部分重同步。

部分重同步主要依赖三个方面来实现，依次介绍。

offset（复制偏移量）：

主库和从库分别各自维护一个复制偏移量（可以使用info replication查看），用于标识自己复制的情况：

在主库中代表主节点向从节点传递的字节数，在从库中代表从库同步的字节数。

每当主库向从节点发送N个字节数据时，主节点的offset增加N

最后：学习总结——MyBtis知识脑图（纯手绘xmind文档）

学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的MyBtis知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件（包括上方的面试解析xmind文档）