Redis设计与实现——第二部分 单机数据库的实现 第9章 数据库

服务器中的数据库
Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中，db数组的每个项都是一个redis.h/redisDb结构，每个redisDb结构代表一个数据库。
struct redisServer {
//一个数组，保存着服务器中的所有数据库
redisDb *db;
//服务器的数据库数量 dbnum属性的值由服务器配置的database选项决定，默认情况下，该选项的值为16
int dbnum;
}

切换数据库
每个redisClient都有自己的目标数据库，每当客户端执行数据库写命令或者数据库读命令的时候，目标数据库就会成为这些命令的操作对象。默认情况下，Redis客户端的目标数据库为0号数据库，但客户端可以通过执行SELECT命令来切换目标数据库。
在服务器内部，客户端状态redisClient结构的db属性记录了客户端当前的目标数据库，这个属性是一个指向redisDb结构的指针：
typedef struct redisClient {
//记录客户端当前正在使用的数据库 指向redisServer.db数组中的一个元素(目标数据库)
//select命令的原理就是让redisClient.db指针指向服务器中不同的数据库，从而实现切换数据库
redisDb *db;
} redisClient;

在redis执行flushdb这样的危险命令之前，最好先执行一个select命令，显示的切换到指定的数据库，然后再执行别的命令。

数据库键空间
Redis是一个键值对(key-value pair)数据库服务器，服务器中的每个数据库都由一个redis.h/redisDb结构表示，其中，redisDb结构的dict字典保存了数据库㕜的所有键值对，我们将这个字典称为键空间(key space).
typedef struct redisDb {
//数据库键空间，保存数据库中的所有键值对
dict *dict;
} redisDb;
键空间和用户所见的数据库是直接对应的：
1.键空间的键也就是数据库的键，每个键都是一个字符串对象
2.键空间的值也就是数据库的值，每个值都可以是字符串对象、列表对象、哈希表对象、集合对象和有序集合对象中的任意一种Redis对象。

读写键空间时的维护操作
当使用redis命令对数据进行读写时，服务器不仅会对键空间执行指定的读写操作，还会执行一些额外的维护操作，其中包括：
1.在读取一个键之后(读和写都会对键进行读取)，服务器会根据键是否存在来更新服务器键空间命中(hit)次数或键空间不命中(miss)次数，这两个值可以在INFO stats命令的keyspace_hits属性和keyspace_missess属性中查看。
2.在读取一个键之后，服务器会更新键的LRU(最后一次使用)时间，这个值可以用于计算键的空闲时间，使用OBJECT idletime命令可以查看键key的闲置时间。
3.如果服务器在读取一个键时发现该键已经过期，那么服务器会先删除这个过期键，然后才执行余下的其他操作，本章稍后对过期键的讨论会详细说明这一点。
4.如果客户端使用watch命令监视了某个键，那么服务器修改这个键，会将这个键标记为脏(dirty)，从而让事物程序注意到这个键已经被修改过。
5.服务器修改一个键之后，都会对脏(dirty)键计数器的值增1，这个计数器会触发服务器的持久化以及复制操作。
6.如果服务器开启了数据库通知功能，那么在对键进行修改之后，服务器将按配置发送相应的数据库通知。

设置键的生存时间或过期时间
通过EXPIRE命令或者PEXPIRE命令，客户端可以以秒或者毫秒精度为数据库中的某个键设置生存时间(Time To Live，TTL)，在经过指定的秒数或者毫秒数之后，服务器就会自动删除生存时间为0的键。
注意：
SETEX命令可以在设置一个字符串键的同时为键设置过期时间，因为这个命令是一个类型限定的命令(只能用于字符串键)，所以本章不会对这个命令进行介绍，但SETEX命令设置过期时间的原理和本章介绍的EXPIRE命令设置过期时间的原理是完全一样的。
与EXPIRE命令和PEXPIRE命令类似，客户端可以通过EXPIREAT命令或PEXPIREAT命令，以秒或者毫秒精度给数据库中的某个键设置过期时间(expire time，unix时间戳，当过期时间来临时，服务器就会自动从数据库删除这个键).
TTL命令和PTTL命令接受一个带有生存时间后者过期时间的键，返回这个键的剩余生存时间，也就是，返回这个键被服务器自动删除还有多长时间。

设置过期时间
Redis有四个不同的命令可以用于设置键的生存时间(键可以存在多久)或过期时间(键什么时候会被删除)：

1. EXPIRE 命令用于将键key的生存时间设置为ttl秒。
2. PEXPIRE 命令用于将键key的生存时间设置为ttl毫秒。
3. EXPIREAT 命令用于将键key的过期时间设置为timestamp所指定的秒数时间戳。
4. PEXPIREAT 命令用于将键key的过期时间设置为timestamp所指定的毫秒数时间戳。

虽然有多种不同单位和不同形式的设置命令，但实际上EXPIRE、PEXPIRE、EXPIREAT三个命令都是使用PEXPIREAT命令来实现的。

保存过期时间
redisDb结构的expires字典保存了数据库中所有键的过期时间，过期字典：
1.过期字典的键是一个指针，这个指针指向键空间中的某个键对象(也即是某个数据库键)
2.过期字典的值是一个long long类型的整数，这个整数保存了键所指向的数据库键的过期时间，一个毫秒精度的UNIX时间戳。
typedef struct redisDb {
//过期字典，保存着键的过期时间
dict *expires;
} redisDb;

一个数据库键设置过期时间内，服务器会在数据库的过期字典中关联给定的数据库键和过期时间。以下是PEXPIREAT命令的伪代码定义：
def PEXPIREAT(key, expire_time_in_ms) :
#如果给定的键不存在与键空间，那么不能设置过期时间
if key not in redisDb.dict:
return 0;
#在过期字典中关联键和过期时间
redisDb.expires[key] = expire_time_in_ms
#过期时间设置成功
return 1

移除过期时间
PERSIST命令可以移除一个键的过期时间。在过期字典中查找给定键，并解除键和值(过期时间)在过期字典中的关联。以下是PERSIST命令的伪代码定义：
def PERSIST(key):
#如果键不存在，或者键没有设置过期时间，那么直接返回
if key not in redisDb.expires:
return 0
#移除过期字典中给定键的键值对关联
redisDb.expires.remove(key)
#键的过期时间移除成功
return 1

计算并返回剩余的生存时间
TTL命令以秒为单位返回键的剩余生存时间，而PTTL命令则以毫秒为单位返回键的剩余生存时间：
def PTTL(key) :
#键不存在与数据库
if key not in redisDb.dict :
return -2
#尝试取得键的过期时间
#如果键没有设置过期时间，那么expire_time_in_ms将为None
expire_time_in_ms = redisDb.expires.get(key)
#键没有设置过期时间
if expire_time_in_ms is None:
return -1

获得当前时间

now_ms = get_current_unix_timestamp_in_ms()

过期时间减去当前时间，得出的差就是键的剩余生存时间

return(expire_time_in_ms - now_ms)

def TTL(key) :

获取以毫秒为单位的剩余生存时间

ttl_in_ms = PTTL(key)
if ttl_in_ms < 0 :
#处理返回值为-2和-1的情况
reurn ttl_in_ms
else :
#将毫秒转换为秒
return ms_to_sec(ttl_in_ms)

过期键的判定
通过过期字典，程序可以用以下步骤检查一个给定的键是否过期：
1.检查给定键是否存在于过期字典：如果存在，那么取得键的过期时间，
2.检查当前UNIX时间戳是否大于键的过期时间：如果是的话，那么键已经过期，否则的话，键未过期
伪代码：
def is_expired(key) :
#取得键的过期时间
expire_time_in_ms = redisDb.expires.get(key)
#键没有设置过期时间
if expire_time_in_ms is None:
return false
#取得当前时间的UNIX时间戳
now_ms = get_current_unix_timestamp_in_ms()
#检查当前时间是否大于键的过期时间
if now_ms > expire_time_in_ms :

是，键已经过期

return true
else :
#否，键未过期
return false

实现过期键判定的另一种方法是使用ttl命令或者pttl命令，比如说，如果对某个键执行ttl命令，并且命令返回值大于等于0，那么说明该键未过期。在实际中，Redis检查键是否过期的方法和is_expired函数所描述的方法一致，因为直接访问字典比执行一个命令稍微快一些。

过期键删除策略
数据库键的过期时间都保存在过期字典中，也知道了如何根据过期时间去判断一个键是否过期，那现在的问题是：如果一个键过期了，那么它什么时候会被删除呢？
1.定时删除(主动)
在设置键的过期时间的同时，创建一个定时器(timer)，让定时器在键的过期时间来临时，立即执行对键的删除操作。
2.惰性删除(被动)
放任键过期不管，但是每次从键空间获取键时，都检查取得的键是否过期，如果过期的话，就删除该键；如果没有过期，就返回该键。
3.定期删除(主动)
每隔一段时间，程序就对数据库进行一次检查，删除里面的过期键。至于要删除多少过期键，以及要检查多少个数据库，则由算法决定。

定时删除
定时删除策略对内存是最友好的：通过使用定时器，定时删除策略可以保证过期键会尽可能快地被删除，并释放过期键所占用的内存。另一方面，定时删除策略的缺点是，它对cpu时间是最不友好的：在过期键比较多的情况下，删除过期键这一行为可能会占用相当一部分CPU时间，在内存不紧张但是CPU时间非常紧张的情况下，将CPU时间用在删除和当前任务无关的过期键上，无疑会对服务器的响应时间和吞吐量造成影响。除此之外，创建一个定时器需要用到redis服务器中的时间事件，而当前时间事件的实现方式(无序链表)，查找一个事件的时间复杂度为O(N)，并不能高效地处理大量时间事件。因此，要让服务器创建大量的定时器，从而实现定时删除策略，在现阶段来说并不现实。

惰性删除
惰性删除策略对CPU时间来说是最友好的：程序只会在取出键时才对键进行过期检查，这可以保证删除过期键的操作只会在非做不可的情况下进行，并且删除的目标仅限于当前处理的键，这个策略不会再删除其他无关的过期键上花费任何CPU时间。
惰性删除策略的缺点是，它对内存是最不友好的
在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键又恰好没有被访问到的话，那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB)，我们甚至可以将这种情况看作是一种内存泄漏，无用的垃圾数据占用了大量的内存，而服务器却不自己去释放它们，这对于运行状态非常依赖于内存的Redis服务器来说，肯定不是一个好消息。

定期删除
定时删除缺点：占用太多CPU时间，影响服务器的响应时间和吞吐量。
惰性删除缺点：浪费太多内存，有内存泄漏的危险。
定期删除策略时定时删除和惰性删除的整合和折中：
1.定时删除策略每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响。
2.除此之外，通过定期删除过期键，定期删除策略有效地减少了因为过期键而带来的内存浪费。
定期删除策略的难点是确定合理的删除操作执行的时长和频率。

Redis的过期键删除策略
Redis服务器实际使用的是惰性删除和定期删除两种策略，通过配合使用这两种删除策略，服务器可以很好地合理使用CPU时间和避免浪费内存空间之间取得平衡。

惰性删除策略的实现
过期键的惰性删除策略由db.c/expireIfNeeded函数实现，所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查：
1.如果键已过期，那么expireIfNeeded函数将对输入键从数据库中删除
2.如果键未过期，那么expireIfNeeded函数不做动作
命令调用expireIfNeeded函数的过程如果9-15所示。expireIfNeeded函数就是一个过滤器。

定期删除策略的实现
过期键的定期删除策略由redis.c/activeExpireCycle函数实现，每当Reids服务器周期性操作redis.c/serverCron函数执行时，activeExpireCycle函数就会被调用，它在规定的时间内，分多次遍历服务器中的各个数据库，从数据库的expires字典中随机检查一部分键的过期时间，并删除其中的过期键。
默认过程可以用伪代码描述如下：
#默认每次检查的数据库数量
DEFAULT_DB_NUMBERS = 16
#默认每个数据库检查键的数量
DEFAULT_KEY_NUMBERS = 20
#全局变量，记录检查进度
current_db = 0

def activeExpireCycle() :
#初始化要检查的数据库数量
#如果服务器的数据库数量比DEFALUT_DB_NUMBERS要小，那么以服务器的数据库数量为准
if server.dbnum < DEFAULT_DB_NUMBERS :
db_numbers = server.dbnum
else:
db_numbers = DEFAULT_DB_NUMBERS

遍历各个数据库

for i in rage(db_numbers) :

如果current_db的值等于服务器的数据库数量

这表示检查程序已经遍历了服务器的所有数据库一次

将current_db重置为0，开始新一轮遍历

if current_db == server.dbnum :
current_db = 0

#获取当前要处理的数据库
redisDb = server.db[current_db]

#将数据库索引增1，指向下一个要处理的数据库
current_db += 1

检查数据库键

for j in range(DEFAULT_KEY_NUMBERS) :

如果数据库中没有一个键带有过期时间，那么跳过这个数据库

if redisDb.expires.size() == 0 : break

随机获取一个带有过期时间的键

key_with_ttl = redisDb.expires.get_random_key()

检查键是否过期，如果过期就删除它

if is_expired(key_with_ttl) :
delete_key(key_with_ttl)

已达到时间上限，停止处理

if reach_time_limit() : return

activeExpireCycle函数的工作模式可以总结如下：
1.函数每次运行时，都从一定数量的数据库中取出一定数量的随机键进行检查，并删除其中的过期键
2.全局变量current_db会记录当前activeExpireCycle函数检查的进度，并在下一次activeExpireCycle函数调用时，接着上一次的进度进行处理。比如说，如果当前activeExpireCycle函数在遍历了10号数据库时返回了，那么下次activeExpireCycle函数执行时，将从11号数据库开始查找并删除过期键。
3.随着activeExpireCycle函数的不断执行，服务器中所有数据库都会被检查一遍这时函数将current_db变量重置为0，然后再次开始新一轮的检查工作。

AOF、RDB和复制功能对过期键的处理
生成RDB文件
在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时，程序会对数据库中的键进行检查，已过期的键不会被保存到新创建的RDB文件中。
载入RDB文件
在启动Redis服务器时，如果服务器开启了RDB功能，那么服务器将对RDB文件进行载入：
1.如果服务器以主服务器模式运行，那么在载入RDB文件时，程序会对文件中保存的键进行检查，未过期的键会被载入到数据库中，而过期的键会被忽略，所以过期键对载入RDB文件的主服务器不会造成影响。
2.如果服务器以从服务器模式运行，那么在载入RDB文件时，所有键不论是否过期，都会被载入到数据库中。不过，因为主从服务器在进行数据同步服务的时候，从服务器的数据库就会被清空，所以一般来讲，过期键对载入RDB文件的从服务器也不会造成影响。

AOF文件写入
当服务器以AOF持久化模式运行时，如果数据库中的某个键已经过期，但它还没有被惰性删除或者定期删除，那么AOF文件不会因为这个过期键而产生任何影响。当过期键被惰性删除后者定期删除之后，程序会向AOF文件追加(append)一条DEL命令，来显示地记录该键已被删除。
客户端用GET MESSAGE命令，试图访问过期的message键，那么服务器将执行以下三个动作：
1.从数据库中删除message键
2.追加一条del message命令到aof文件
3.向执行get命令的客户端返回空回复。

AOF重写
和生成rdb文件类似时，在执行aof重写的过程中，程序会对数据库中的键进行检查，已过期的键不会被保存到重写后的AOF文件中。因此，数据库中包含过期键不会对AOF重写造成影响。

复制
当服务器运行在复制模式下时，从服务器的过期键删除动作由服务器控制：
1.主服务器在删除一个过期键之后，会显示地向所有从服务器发送一个DEL命令，告知从服务器删除这个过期键。
2.从服务器在执行客户端发送的读命令时，及时碰到过期键也不会将过期键删除，而是继续像处理未过期的键一样来处理过期键。
3.从服务器只有在接到主服务器发来的DEL命令之后，才会删除过期键。
通过主服务器来控制从服务器统一地删除过期键，可以保证从服务器数据的一致性，也正是这个原因，当一个过期键仍然存在于主服务器的数据库时，这个过期键在从服务器里的复制品也会继续存在。

数据库通知
可以让客户端通过订阅给定的频道或者模式，来获知数据库中键的变化，以及数据库中命令的执行情况。

键空间通知(key-space notification) 某个键执行了什么命令
客户端获取0号数据库中针对message键的所有命令：subscribe _ keyspace@0 _:message
键事件通知(key-event notification) 某个命令被什么键执行了
客户端获取0号数据库中所有执行了DEL命令的键

服务器配置的notify-keyspace-events选项决定了服务器所发送通知的类型：

发送通知：
notifiy.c/nofifyKeyspaceEvent函数