chapter4 字典

最新推荐文章于 2022-04-20 20:09:20 发布

原创最新推荐文章于 2022-04-20 20:09:20 发布 · 219 阅读

0 ·

CC 4.0 BY-SA版权

Redis 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了Redis中的字典数据结构，包括其基本概念、组成结构、哈希算法、解决键冲突的方法、rehash机制及其实现细节。

字典,又称为符号表(symbol table),关联数组(associative array)或映射(map),是一种用于保存键值对(key-value pair)的抽象数据结构。

在字典中,一个键(key)可以和一个值(value)进行关联(或者说将键映射为值),这些关联的键和值就称为键值对。

字典在Redis中的应用相当广泛,比如Redis的数据库就是使用字典作为底层实现的,对数据库的增、删、查、改操作也是构建在对字典的操作之上的。

举个例子,我们执行命令:

redis> set msg "hello world"
OK

在数据库中创建了一个键为"msg",值为"hello world"的键值对时,这个键值对就是保存在代表数据库的字典里面的。

除了用来表示数据库之外,字典还是哈希键的底层实现之一,当一个哈希键包含的键值对比较多,有或者键值对中的元素都是比较长的字符串时,Redis就会使用字典作为哈希键的的层实现。

举个例子,website是一个包含10086个键值对的哈希键,这个哈希键的键都是一些数据库的名字,而键的值就是数据库的主页网址:

website键的底层实现就是一个字典,字典中包含了10086个键值对,例如:

键值对的键为"Redis",值为"Redis.io"。
键值对的键为"MariaDB",值为"MariaDB.org";

4.1 字典的实现

4.1.1 哈希表

Redis字典所使用的哈希表有dict.h/dictht结构定义:

typedef struct dictht{
  // 哈希表数组
  dictEntry **table;
  // 哈希表大小
  unsigned long size;
  // 哈希表大小掩码,用于计算索引值
  // 总是等于size-1
  unsigned long sizemask;
  // 该哈希表已有节点的数量
  unsigned long used;
}dictht;

table属性是一个数组,数组中的每个元素都是一个指向dict.h/dictEntry结构的指针,每个dictEntry结构保存着一个键值对。size属性记录了哈希表的大小,也即是table数组的大小,而used属性则记录了哈希表目前已有节点(键值对)的数量。sizemask属性的值总是等于size-1,这个属性和哈希值一起决定一个键应该被放到table数组的那个索引上面。

4.1.2 哈希表节点

哈希表节点使用dictEntry结构表示,每个dictEntry结构都保存着一个键值对:

typedef struct dictEntry{
  // 键
  void *key;
  // 值
  union{
    void *val;
    uint64_t u64;
    int64_t s64;
  }v;
  // 指向下个哈希表节点,形成链表
  struct dictEntry *next;
}dictEntry;

key属性保存着键值对中的键,而v属性则保存着键值对中的值,其中键值对的值可以是一个指针,或者是一个uint64_t整数,又或者是一个int64_t整数。

next属性是指向另一个哈希表节点的指针,这个指针可以将多个哈希值相同的键值对连接在一起,以此来解决键冲突(collision)的问题.

图4.2就展示了如何通过next指针,将两个索引值相同的键k1和k0连接在一起。

4.1.3 字典

Redis中的字典由dict.h/dict结构表示:

typedef struct dict{
  // 类型特定函数
  dictType *type;
  // 私有数据
  void *privdata;
  // 哈希表
  dictht ht[2];
  // rehash索引
  // 当rehash不在进行时,值为-1
  int trehashidx;
}dict;

type属性和privdata属性是针对不同类型的键值对,为创建多态字典而设置的:

type属性是一个指向dictType结构的指针,每个dictType结构保存了一簇用于操作特定类型键值对的函数,Redis会为用途不同的字典设置不同的类型特定函数。
而privdata属性则保存了需要传给那些类型特定函数的可选参数。

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下,字典只使用ht[0]哈希表,ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。

除了ht[1]之外,另一个和rehash有关的属性就是rehashidx,它记录了rehash目前的进度,如果目前没有在进行rehash,那么它的值为-1。

图4-3展示了一个普通状态下(没有进行rehash)的字典。

4.2 哈希算法

当要将一个新的键值对添加到字典里面时,程序需要先根据键值对的键计算出哈希值和索引值,然后再根据索引值,将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

Redis计算哈希值和索引值的方法如下:

# 使用字典设置的哈希函数,计算键key的哈希值
hash=dict->type->hashFunction(key);

# 使用哈希表的sizemask属性和哈希值,计算出索引值
# 根据情况不同,ht[x]可以是ht[0]或者ht[1]
index=hash & dict->ht[x].sizemask;

举个例子,对于图4-4所示的字典来说,如果我们要将一个键值对k0和v0添加到字典里面,那么程序会先使用语句:

hash=dict->type->hashFunction(k0);

计算键k0的哈希值。

假设计算得出的哈希值为8,那么程序会继续使用语句:

index=hash&dict->ht[0].sizemask=8&3=0;

计算出键k0的索引值0,这表示包含键值对k0和v0的节点应该被放置到哈希表数组的索引0位置上,如图4-5所示:

4.3 解决键冲突

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面时,我们称这些键发生了冲突(collision)。

Redis的哈希表使用链地址法(separate chaining)来解决键冲突,每个哈希表节点都有一个next指针,多个哈希表节点可以用next指针构成一个单向链表,被分配到同一个索引上的多个节点可以用这个单向链表连接起来,这就解决了键冲突的问题。

举个例子,假设程序要将键值对k2和v2添加到如图4-6所示的哈希表里面,并且计算的出k2的索引值为2,那么键k1和k2将产生冲突,而解决冲突的办法就是使用next指针将k2和k1所在的节点连接起来。

4.4 rehash

扩展和收缩哈希表的工作可以通过执行rehash(重新散列)操作来完成,Redis对字典的哈希表执行rehash的步骤如下:

(1)为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(也即是ht[0].used属性的值):

如果执行的是扩展操作,那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n;
如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[0].used的2^n。

(2)将保存在ht[0]中的所有键值对rehash到ht[1]上面:rehash指的是重新计算键的哈希值和索引值,然后将键值对放置到ht[1]哈希表的指定位置上。

(3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0].并在ht[1]新创建一个空白哈希表,为下一次rehash做准备。

举个例子,假设程序要对图4-8所示字典的ht[0]进行扩展操作,那么程序将执行以下步骤:

(1)ht[0].used当前的值为4,4*2=8,而8(2^3)恰好是第一个大于等于4的2的n次方,所以程序会将ht[1]哈希表的大小设置为8.图4-9展示了ht[1]在分配空间之后,字典的样子。

(2)将ht[0]包含的四个键值对都rehash到ht[1],如图4-10所示:

(3)释放ht[0],并将ht[1]设置为ht[0],然后为ht[1]分配一个空白哈希表,如图4-11所示。至此,对哈希表的扩展操作执行完毕,程序成功将哈希表的大小从原来的4改为了现在的8.

哈希表的扩展与收缩

当以下条件中的任意一个被满足时,程序会自动开始对哈希表执行扩展操作:

(1)服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1.

(2)服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5.

其中哈希表的负载因子可以通过公式:

# 负载因子=哈希表以保存的节点数量/哈希表大小
load_factor=ht[0].used/ht[0].size

在执行BGSAVE命令或BGREWRITEAOF命令的过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统都采用写时复制(copy-on-write)技术来优化子进程的使用效率,所以在子进程存在期间,服务器会提高执行扩展操作所需的负载因子,从而尽可能地避免在子进程存在期间进行哈希表扩展操作,这可以避免不必要的内存写入操作,最大限度地节约内存。

另一方面,当哈希表的负载因子小于0.1时,程序自动开始对哈希表执行收缩操作。