redis中的数据结构和编码

A__17

已于 2024-01-11 22:25:10 修改

阅读量744

点赞数

分类专栏： redis 文章标签： redis

于 2020-03-27 00:41:29 首次发布

本文链接：https://blog.youkuaiyun.com/wodewutai17quiet/article/details/105132519

版权

redis 专栏收录该内容

13 篇文章

订阅专栏

本文深入解析Redis内部数据结构，包括redisObject结构体、类型与编码，以及各种数据结构如字符串、列表、哈希、集合和有序集合的内部实现。同时探讨了内存优化策略，如使用ziplist和intset编码减少内存占用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基础知识：

redis在内部使用redisObject结构体来定义存储的值对象。
每种类型都有至少两种内部编码，Redis会根据当前值的类型和长度来决定使用哪种编码实现。
编码类型转换在Redis写入数据时自动完成，这个转换过程是不可逆的，转换规则只能从小内存编码向大内存编码转换。

源码：

值对象redisObject：

typedef struct redisObject {
    unsigned type:4;                /* 对象类型 */
    unsigned encoding:4;            /* 内部编码 */
    unsigned lru:LRU_BITS;     /* lru time (relative to server.lruclock) */
    int refcount;                    /* 引用计数器，内存回收机制就是基于该值实现的 */
    void *ptr;                        /* 若要存储的是整数值则直接存储数据，否则表示指向数据的指针 */
} robj;

类型type：

说明：查看当前键的类型：type key
#define OBJ_STRING 0 /*字符串对象*/
#define OBJ_LIST 1 /*列表对象*/
#define OBJ_SET 2 /*集合对象*/
#define OBJ_ZSET 3 /*有序集合对象*/
#define OBJ_HASH 4 /*哈希对象*/

编码encoding；

说明：查看当前键的编码：object encoding key
#define OBJ_ENCODING_RAW 0 /*Raw representation 简单动态字符串*/
#define OBJ_ENCODING_INT 1 /*Encoded as integer long long类型整数*/
#define OBJ_ENCODING_HT 2 /* Encoded as hash table 字典*/
#define OBJ_ENCODING_ZIPMAP 3 /* Encoded as zipmap 压缩map*/
#define OBJ_ENCODING_LINKEDLIST 4 /* Encoded as regular linked list 双端链表*/
#define OBJ_ENCODING_ZIPLIST 5 /* Encoded as ziplist 压缩列表*/
#define OBJ_ENCODING_INTSET 6 /* Encoded as intset 整数集合*/
#define OBJ_ENCODING_SKIPLIST 7 /* Encoded as skiplist 跳跃表*/
#define OBJ_ENCODING_EMBSTR 8 /* Embedded sds string encoding embstr编码的简单动态字符串*/
#define OBJ_ENCODING_QUICKLIST 9 /* 基于压缩列表的双端列表实现的快速表*/

最后被访问的时间lru：

概念：记录对象最后一次被访问的时间。
说明：
- 查看当前键的空闲时间(该命令不会更新lru字段)；object idletime key 。可以通过scan + object idletime key 来收集长时间未被访问的数据，然后手动清理。
- 当配置了maxmemory和maxmemory-policy=volatile-lru或者allkeys-lru时，若内存超过了上限(maxmemory)后，则优先回收长时间没有被访问的数据，从而回收内存。

引用计数器refcount：

概念：记录当前对象被引用的次数，当refcount=0时，可以安全回收当前对象空间。
说明：获取当前对象引用：object refcount key

类型对应的编码：
字符串：

int：存放整形值的字符串。
embstr：存放字符的短字符串(大小不超过44个字节)。
raw：存放字符的长字符串(大小超过44个字节)。
embstr和raw的比较：
- raw调用2次内存分配函数，释放时当然也需要释放两次。
- embstr调用1次内存分配函数，分配一块连续的内存，释放时只需释放一次。

列表(list)：

压缩列表(ziplist)：
- 结构：所有数据都是采用线性连续的内存结构(大致可类比数组)，目的是为了减少内存的占用，追求空间和时间的平衡。
  - 以O(1)时间复杂度入队和出队。
  - 读写操作涉及复杂的指针移动，最坏时间复杂度为O(n2)，故列表的元素不易太多。
  - 新增删除操作涉及内存重新分配，加大了操作的复杂性。
- 优点：占用内存较少，且占用的是一块连续的内存，故加载的速度相对更快一些。
- 缺点：当元素的个数较大时，访问元素的时间较长。
- 应用：
  - 适合存储小对象和长度有限(即使O(n2)的复杂度也不会太大)的数据。
  - 当元素个数小于list-max-ziplist-entries(默认512) 且所有元素值的大小都小于list-max-ziplist-value(默认64字节)时，使用ziplist作为列表的内部实现。
双端链表(linkedlist)：
- 优点：元素的个数较多时，访问元素的时间比压缩列表更快一些。
- 缺点：因为是双向链表，故维护了前置指针、后置指针等结构，占用了更多的内存，且内存不是连续的，容易产生内存碎片。
- 说明：当无法满足ziplist的条件时，使用linkedlist作为列表的内部实现。
- 应用：当列表对象元素较多时，压缩列表就会转化为更适合存储大量元素的双端链表。
- 注意：只能小内存编码向大内存编码转换。(若当元素增删频繁时，数据向压缩编码转换是非常消耗CPU的，得不偿失)
快速列表(quicklist)：
- 结构：一个双向链表，链表的每一个节点都是一个ziplist，故quicklist结合了双向链表和压缩列表的优点。
- Redis3.2开始，列表采用quicklist进行编码。

哈希(hash)：

压缩列表(ziplist)：
- 应用：当元素个数小于hash-max-ziplist-entries(默认512) 且所有元素value的大小都小于hash-max-ziplist-value(默认64字节)时，使用ziplist作为哈希的内部实现。
哈希表(hashtable)：
- 优点：读写时间复杂度O(1)
- 缺点：占用内存较多。
- 应用：当无法满足ziplist的条件时，hashtable作为哈希的内部实现。
- hash算法：与传统hash算法类似，根据key计算得到在哈希表中的位置，采用单链表解决冲突，达到加载因子时进行扩展，进而引发重哈希。
- rehash：采用增量式重哈希：
  - 概念：在扩容时不会一次性对所有的key进行rehash，而是将key的rehash操作分散延迟到其它操作(哈希表的查找、更新、删除)中。
  - 优点：避免由于大量的key在同一时间段进行rehash操作导致服务短暂无响应的问题。
  - 过程：在增量式的rehash过程中，会使用到两张哈希表：
    - 查找：先从老表中查找，再从新表中查找，此外还会对一些key进行rehash操作。
    - 新增：新增的键值对添加到新表中。

集合(set)：

整数集合(intset)：
- 结构：有序、不重复的整数集。
  - 查找时间复杂度为O(logn)
  - 插入时间复杂度为O(n)
- 优点：占用的内存远小于hashtable，
- 应用：当元素都是整数且元素个数小于set-max-intset-entries(默认512)时，使用intset作为集合的内部实现。
哈希表(hashtable)：
- 当无法满足intset的条件时，使用hashtable作为集合的内部实现。

有序集合(zset)：

说明：redis给有序集合中的每个元素设置一个分数(score)作为排序的依据。
压缩列表(ziplist)：
- 应用：当元素个数小于zset-max-ziplist-entries(默认128个) 且每个元素的值都小于zset-max-ziplist-value(默认64字节)时，使用ziplist作为有序集合的内部实现。
跳跃列表(skiplist)：
- 结构：跳跃列表。
- 查找时间复杂度平均O(logn)、最坏O(n)。
- 应用：当不满足ziplist条件时，使用skiplist作为内部实现。
- 示例图：
- 源码：
  - ```
  // 跳跃列表
  typedef struct zskiplist {
      struct zskiplistNode *header, *tail;
      unsigned long length;
      int level;
  } zskiplist;
  
  // 跳跃列表节点
  typedef struct zskiplistNode {
      robj *obj;
      double score;
      struct zskiplistNode *backward;
      struct zskiplistLevel {
          struct zskiplistNode *forward;
          unsigned int span;
      } level[];
  } zskiplistNode;
```
- zskiplist
  - header：头指针，指向跳跃列表的头节点。
  - tail：尾指针，指向跳跃列表的尾节点。
  - length：跳跃列表的长度，跳跃列表的头节点不计算在内。
  - level：跳跃列表的层数(即所有节点中层数的最大值)。
- zskiplistNode
  - obj：存放该节点的数据。示例图各个节点中的o1、o2和o3表示该节点存放的数据。
    - 在同一个跳跃表中,各个节点保存的成员对象必须是唯一的(set中元素不能重复)，但是多个节点保存的分值却可以是相同的。
  - score：数据对应的分数值，zset通过分数对数据升序排列。
    - 示例图中各个节点中的1.0、2.0和3.0是节点所保存的分值。在跳跃列表中，节点按各自的分值从小到大排列。
    - 分值相同的节点将按obj在字典序中的大小来进行排序，obj较小的节点会排在前面(靠近表头的方向)，而obj较大的节点则会排在后面(靠近表尾的方向)。
  - backward：指向链表上一个节点的指针，即后向指针。
    - 示例图节点中用BW字样标记节点的后退指针，它指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。与前进指针所不同的是每个节点只有一个后退指针，因此每次只能后退一个节点。
  - level[]：节点上层(zskiplistLevel)的数组，数组的大小即节点的高度。
    - zskiplistLevel：表示跳跃列表中的一层，层包含两个字段：
      forward：前向指针，即指向链表下一个节点的指针，示例图中连线上带有数字的箭头表示前向指针。
      span：跨度，表示当前节点和前向指针指向的节点之间的距离，示例图中前向指针上的数字表示跨度。
    - 创建一个跳跃列表的节点时，会根据幂次定律（powerlaw：越大的数出现的概率越小）随机生成一个介于1和32之间的值作为level数组的大小。
- 与普通跳跃列表的不同点：
  - zskiplist的第1层是个双向链表，其他层仍然是单向链表，这样做是为了方便逆向获取数据的需求。
  - 节点中保存了前向指针跳过的节点数span，这是因为zset本身支持基于排名的操作，如zrevrank指令（由数据查询排名）、zrevrange指令（由排名范围查询数据）等。如果有span值的话，就可以方便地在查找过程中累积出排名了。

redis为什么不用红黑树作为zset底层实现？

跳表和红黑树在 内存占用 和 对范围查找(zset的主要使用场景)的支持 方面都差不多，但是跳表的实现更简单，更易于扩展，故跳表比红黑树更适合。

内存优化：

场景：有海量key和value都比较小的数据，在redis中如何存储才更省内存。
原理：通过大幅减少key的数量来降低内存的消耗。
实现：在客户端通过分组将海量的key根据一定的策略映射到一组hash对象中，由于value较小，故hash类型的对象会使用占用内存较小的ziplist编码。
- eg：如存在100万个键，可以映射到1000个hash中，每个hash保存1000个元素。