Redis字典底层实现详解-优快云博客

又称符号表、关联数组或映射，用于保存键值对的抽象数据结构。

Redis的数据库的底层实现。

1. 字典的实现

使用哈希表作为底层实现。

1.1 哈希表

dict.h/dictht结构定义

/*
 * 哈希表
 */
typedef struct dictht {

    // 哈希表节点指针数组（俗称桶，bucket）
    dictEntry **table;      

    // 指针数组的大小
    unsigned long size;     

    // 指针数组的长度掩码，用于计算索引值
    unsigned long sizemask; 

    // 哈希表现有的节点数量
    unsigned long used;     

} dictht;

table数组中的每个元素都是一个指向dict.h/dictEntry（保存着一个键值对）结构

1.2 哈希表节点

使用dictEntry结构表示

/*
 * 哈希表节点
 */
typedef struct dictEntry {

    // 键
    void *key;

    // 值
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
    } v;

    // 链往后继节点，可以将多个哈希值相同的键值对链接在一起，以此来解决键冲突的问题
    struct dictEntry *next; 

} dictEntry;

1.3 字典

dict.h/dict结构

/*
 * 字典
 *
 * 每个字典使用两个哈希表，用于实现渐进式 rehash
 */
typedef struct dict {

    // 特定于类型的处理函数
    dictType *type;

    // 类型处理函数的私有数据,保存了需要传给那些类型特定函数的可选参数。
    void *privdata;

    // 哈希表（2个） 字典只使用ht[0],ht[1]只会在对ht[0]哈希表进行rehash时使用。
    dictht ht[2];       

    // 记录 rehash 进度的标志，值为-1 表示 rehash 未进行
    int rehashidx;

    // 当前正在运作的安全迭代器数量
    int iterators;      

} dict;

2. 哈希算法

先根据键值对的键计算出哈希值和索引值，然后根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上。

#使用字典设置的哈希函数，计算键key的哈希值

hash=dict->type-hashFunction(key);

#使用哈希表的sizemask属性和哈希值，计算出索引值

#根据情况不同，ht[x]可以是ht[0]或者ht[1]

index=hash& dict-ht[x].sizemask;

当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash算法来计算键的哈希值。

3. 解决键冲突

链地址法，

链表的表头插入

4. rehash

通过执行rehash操作扩展和收缩哈希表

为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对的数量

如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n

如果执行的是收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2^n

将保存在ht[0]中的所有键值对rehash到ht[1]上面：
当ht[0]包含的所有键值对都迁移到ht[1]之后，释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表，为下一次rehash做准备

哈希表的扩展于收缩

当以下条件中的任意一个被满足时，程序会自动开始对哈希表进行扩展操作：

服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1
服务器目前正在执行BGSAVE命令或者BGREWITEAOF命令，并且哈希表的负载因子大于等于5

当哈希表的负载因子小于0.1时，程序自动开始对哈希表执行收缩操作

5. 渐进式rehash

这个rehash动作并不是一次性，集中式地完成的，而是分多次、渐进式的地完成的

以下是哈希表渐进式rehash的步骤：

为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表
在字典中维持一个索引计数器变量rehashidx，并将它的值设置为0，表示rehash工作正式开始。
在rehash进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后，程序将rehashidx属性值增一
随着字典操作的不断执行，最终在某个时间点上，ht[0]的所有键值对都会被rehash至ht[1],这时程序将rehashidx属性的值设为-1，表示rehash操作已完成。