Redis底层数据结构

Redis底层数据结构

1、SDS（Simple Dynamic string）

typedef struct sdshdr{
  int len; // 已经使用的长度
  int free; // 未使用的长度
  char buf[]; // 字符数组，用来保存字符串
}sdshdr;

好处：

（1）获取长度信息

可以在O(1)的时间复杂度内获取到字符串数组的长度和未使用长度的大小

（2）杜绝内存溢出

在进行字符串修改的时候，首先会比较len和当前空间的大小，如果len > 当前空间，那么会进行空间扩展。

（3）减少字符串修改重新分配的次数

由于有len和free两个字段的存在，我们可以采用两种策略，一是空间预分配和惰性空间释放

空间预分配：由于我们提前知道这个字符串的大小，那么我们可以分配比这个len更大的空间，如果字符串发生了修改操作，它的长度变长了，只要不超过我们分配的大小，就不用重新分配空间，减少了空间的分配次数

惰性空间释放：主要是指字符串变短了，程序不会立刻对空间进行释放，而是用一个free值记录未使用的大小，方便下次字符串变长的操作。

2、双端队

list的底层数据结构

链表的定义

typedef struct linkedList{
  linkedList *pre; // 前置指针
  LinkedList *next; // 后置指针
  void *value; // 存储的值
}linkedList;

redis还定义了一个list的数据结构方便对linkedlist的操作

typedef struct list{
  linkedList *head;  //头结点
  linkedList *tail;  // 尾节点
  unsigned int len;  // 长度
  void (*copy)(void *ptr) //结点复制函数
  void (*free)(void *ptr) // 结点释放函数
  int (*match)(void *ptr) // 结点匹配函数
}

特点

(1)可以直接知道结点的长度信息

(2)结点的类型为(void*)，可以存储不同类型的值

(3)无环

(4)是一个双端队列，可以从头遍历到尾，也可以从尾遍历到头

3、字典

字典是hash的底层数据结构

字典的定义

typedef struct dictht{
  dictEntry **table; //哈希表数组
  unsigned long size; // 哈希表的大小
  unsigned long sizemask; // 哈希表掩码大小，用于计算索引位置
  unsigned long used; // 哈希表中的元素的个数
}dictht;

哈希表是由table组成，每个table的数据结构为dictEntry

typedef struct dictEntry{
  void *key; // 键
  union{
    void *val;
    uint64_tu64;
    int64_ts64;
  }v;
  // 指向下一个hash表，形成链表
  struct dictEntry *next;
}

key用来保存键，val用来保存值，可以是一个指针，也可以是一个uint64_t正数或int64_t整数

总所周知，使用hash就会产生hash冲突，那么redis采用什么方法解决的呢？答案是链地址法

渐进式rehash

渐进式rehash意思是扩容或收缩的时候不是一次性、集中式完成的，而是分多次、渐进完成的。如果redis存储的key-value只有几十个，那么可以一次完成rehash，如果key-value有几百万，几千万，上亿的，那么就会使用渐进式rehash，这个时候数据的查找、删除、更新可能会在两个hash表上进行，如果在第一个hash表上没有找到，会在第二个hash表上查找，插入操作一定在新的hash中进行。

4、skiplist 跳跃表

跳跃表是一个有序的数据结构，它包括以下特性

（1）有很多层组成

（2）每一层都是有序链表，排列由高到底，至少有两个结点，分别是head结点和后面的nil结点

（3）最底层包含了所有元素

（4）如果一个元素出现在某一层，那么这个元素会出现在下面的所有层中

（5）链表中的结点包含两个指针，一个是指向同一层的下一个结点，一个是指向下一层下一个的结点

跳跃表的定义

typedef struct zskiplistNode{
  // 层
  struct zskiplistLevel{
    // 前进指针
    struct zskiplistNode *forward;
    // 跨度
    unsigned int span;
  }level[];
  // 后退指针
  struct zskiplistNode *backward;
  // 分值
  double score;
  // 成员对象
  robj *obj;
}zskiplistNode;

多个跳跃表结点构成一个跳跃表

typedef struct zskiplist{
  // 表头结点和表尾结点
  struct zskiplistNode *header,*tail;
  // 表中结点的数量
  unsigned long length;
  // 表中层数最大的结点的层数
  int level;
}zskiplist;

（1）搜索：直接从最高层开始比较，我们把搜索的值当作target，如果target小于等于指针指向的值，那么就向下一层进行搜索，如此类推

（2）插入：首先确认插入的层数，有个一种是抛硬币法，一共抛level次，正面就+1，确定插入层数之后，则从底部开始插，知道第k层。

（3）删除：在各层中查找到目标元素，删除即可，如果删除之后只剩下头尾两个结点，那么删除当前层。

5、intset 整数集合

​ intset是redis保存整数值得抽象数据类型，它可以保存int16_t、int32_t或者int64_t的整数值，并且保证结合中不会出现重复元素

typedef struct inset{
	// 编码方式
	unint32_t encoding;
	unint32_t length; //结合包含的元素数量
	int8_t contents[]; // 保存元素的数组
}inset;

降级

整数集合不支持降级操作，一旦对数组进行了升级，编码就会一直保持升级后的状态。

6、ziplist 压缩列表

压缩列表是redis为了节省内存空间而开发的，是由一系列特殊编码的连续内存块组成的顺序型数据结构，一个压缩列表可以包含多个结点（entry）,每个结点可以保存一个字节数组或者一个整数值

原理

压缩列表的原理：压缩列表并不是对数据利用某种算法进行压缩，而是将数据按照一定的规则编码在一块连续的内存区域，目的是节省内存

属性	类型	长度	用途
zlbytes	uint32_t	4字节	记录整个压缩列表占用的内存字节数；在对压缩列表进行内存重新分配或者计算zlend的位置时使用
zltail	uint32_t	4字节	记录压缩列表表尾结点距离压缩列表的起始地址有多少个字节；通过这个偏移量，程序无须遍历整个压缩列表就可以确定表尾结点的地址
zllen	uint16_t	2字节	记录了压缩列表包好的结点数量；当这个属性的值小于uint16_max(65535)，结点数量则为这个值，如果大于的话，那么就需要遍历整个压缩列表
entryX	列表结点	不定	压缩列表包好的各个结点，结点的长度有结点保存的内容决定
zlend	uint8_t	1字节	特殊值0xFF(十进制255)，用于标记压缩列表的末端

压缩列表中entryX的结构

（1）previous_entry_length：上一个结点的长度

（2）encoding：当前结点内容类型和长度

（3）content：用于保存当前结点内容

7、总结

简单字符串使用SDS表示

linkedlist可以设置不同类型的值，可以用作列表键

redis的字典底层使用hash表实现

跳跃表通常是zset底层实现之一，表中结点按照score进行排序

整数集合时集合键的底层实现之一

压缩表时redis为了节省内存而开发的顺序性数据结构，通过作为列表键和哈希键的底层实现之一