深入理解Redis 底层数据结构之QuickList与 ZipList

Redis列表结构详解
最新推荐文章于 2025-09-07 15:00:04 发布
原创 最新推荐文章于 2025-09-07 15:00:04 发布 · 743 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #数据结构 #list

本文深入探讨Redis中的三种列表数据结构：链表（LinkedList）、压缩列表（ZipList）和快速列表（QuickList）。分析了每种数据结构的特点、应用场景以及转换条件，并提供了实际操作示例。
深入理解Redis 底层数据结构之QuickList 与ZipList

centos7安装redis6.25结合docker镜像配置方法（附redis.conf文件)

list底层的数据结构：

  1. linkedList 链表

  2. zipList 压缩列表

  3. quickList 快链表

在3,2版本之前，列表是通过双向链表或压缩链表来实现的。他们之间可以互相转换，在3.2版本之后又新加入了新的数据结构：QuickList，也就是双向链表和压缩列表的结合。

链表：LinkedList
image-20210920100036234

  • 数据结构中常用的带头节点的双向链表，并且带有指向头节点的头指针和指向最后一个节点的尾指针，双向链表保证从任意一个位置可以向前或者向后进行遍历，但要注意头节点的前指针为null，尾节点的后指针为空，这也就说明了redis中的LinkedList数据结构是一个无环链表，不支持逆序遍历

  • 第二点就是说，操作命令中的lpush(left push) 、lpop(left pop )等命令中的left代表从队头进行操作，right代表从队尾进行操作。

  • 结构中的 len 字段记录了整个链表的长度。

  • 由于链表本身的特性，对链表进行增删操作所需的时间非常少，时间复杂度仅为O(1)；但如果是需要凭借索引寻找链表中某个值，时间花销就显得有些高，时间复杂度为O(n)

  • dup函数用于对某个链节点进行复制操作

  • free函数用于对某个链节点进行释放操作，也就是删除

  • match函数用于判断某个链节点的值和输入的值是否相等。

压缩列表：ZipList
image-20210920120409330
  • redis中的压缩列表是用字节数组作为其数据结构。
  • 在zipList的数据结构中有以下字段：
    • zlbytes:整个压缩列表所占用的字节数，本身是4个字节即32位，因此压缩链表的最大长度为(2^32-1)个字节
    • zltail_offset：压缩列表尾部的元素到起始地址的偏移量，可以直接找到表尾元素，即支持逆序遍历
    • zlength：表中元素的个数，占2字节，如果列表中的元素个数超过（2^16-1）个，那么需要遍历整个列表才能得到元素的个数
    • entry：列表中存储的元素，可能是整数，也可能是字节数组,具体结果见下图
    • zlend：元素的结束标志，占一个字节，是一个常量OXFF
image-20210920122206052

  • entry保存中列表中的元素，可能是整数，也可能是字节数组。其结构体有三个字段：

    • pre_length：上一个元素的长度，方便逆序遍历的时候直接找到上个节点的起始位置。当前一个元素的长度小于254个字节的时候，用一个字节表示；当前一个元素的长度大于等于254个字节的时候，用5个字节表示，此时前一个字节存储固定值254。

    • encoding： 长度为两个 bit 。 它的值可以是 00 、 01 、 10 和 11 。00 、 01 和 10表示 content 部分保存着字符数组，11表示 content 部分保存着整数。

    • content：保存真正的元素。

转换条件：
创建一个列表是，默认使用的数据结构是zipList，但在满足以下条件的时候，zipList会自动转化为双向链表：

  1. 压缩列表中插入了一个过长的字符串（长度可配置，默认65）
  2. 压缩列表中的节点数超过某一数量（默认512）

总结

  1. 当存储的元素很少的时候，通常采用zipList作为基础数据结构，而当数据元素较多时则采用LinkedList。

  2. 从数据结构本身的特点而言：LinkedList在插入和删除元素方面具有很大的优势。但其需要额外存储两个指针，存储开销比较大，而且每个元素都是单独的内存空间，地址不连续，容易造成内存碎片。

  3. 而压缩列表存储在一块连续的内存空间中，但是增加删除元素开销较大，在内存扩容执行realloc操作的时候需要进行大量的拷贝操作

快速列表：QuickList
image-20210920130149269

​ redis3.2之后，增加了新的数据结构：QuickList。它结合了LinkedList和zipList的优点。它将LinkedList的每个节点都用zipList的方式来存储。LinkedList节点之间依然采用双向链表连接起来，只

最低0.47元/天 解锁文章
Redis系列之底层数据结构QuickList
Nicky's blog
12-17 1132
在Redis3.2版本后，Redis推出了快速列表（QuickList）这种数据结构，之前的版本list都是元素少时用压缩列表（ZipList），元素多就用链表（LinkedList）。快速列表是一种双端链表的数据结构，QuickList用于处理Redis中List类型数据。
Redis源码（3）ziplist压缩列表和quicklist快表
weixin_43823462的博客
07-17 1309
Redis的ziplist和quicklist源码分析
深入分析redis之quicklist，不一样的ziplist使用方式？
持之以恒
01-08 2831
基于ziplist存在的问题，要避免ziplist列表太大问题，因此将大ziplist分成一系列小的ziplist是一种思路。 quicklist是由链表组成的结构，其中每个链表节点中都存在一个ziplist。是由ziplist改进而来，充分利用链表 + ziplist特性
Redis源码解读（六）——基本类型一链表list、ziplist、quicklist
yh88623131的博客
05-04 985
基本类型—链表list、ziplist、quiklist设计与实现
Redis 底层数据结构解析（二）：List 类型与 QuickList 的演进之路
最新发布
NeoLshu的博客
09-07 842
Redis List 类型经历了显著的底层优化演进：从早期在 ziplist（内存高效但存在连锁更新问题）和 linkedlist（修改高效但内存开销大）间的切换，到 Redis 3.2 引入结合两者优势的 quicklist（双向链表+多个 ziplist 节点），再到 Redis 7.0 用 listpack 替代 ziplist 彻底解决连锁更新问题。quicklist 通过分段存储策略，在内存效率和操作性能间取得平衡，其核心结构为带填充因子控制的双向链表，每个节点存储一个 listpack。这种设计
Redis｜快速表、压缩表和双向链表（重点介绍quicklist）
MarkusZhang的博客
10-10 3427
文章目录前言差别quicklist数据结构的介绍为什么要把底层数据结构优化成quicklist？为什么每个quicklistNode节点的ziplist内部的数据个数不一致呢？这个结构啥意思啊，为什么有的节点是ziplist，有的是quicklistZF？简单了解源码结构总结写在最后 前言 最近在看《Redis的设计与实现》这本书，写的真的是太好了，一下子就看入迷了，谢谢作者。不过在学习的时候发现一个问题，我服务器上安装的是Redis5.0.9版本的，而作者介绍的是Redis3.0版本的，在第一部分将数据
Redis源码剖析和注释（六）--- 压缩列表(ziplist)
men_wen的博客
04-14 8373
Redis 压缩列表(ziplist)1. 介绍压缩列表(ziplist)是哈希键的底层实现之一。它是经过特殊编码的双向链表，和整数集合(intset)一样，是为了提高内存的存储效率而设计的。当保存的对象是小整数值，或者是长度较短的字符串，那么redis就会使用压缩列表来作为哈希键的实现。127.0.0.1:6379> HMSET hash name mike age 28 sex male OK
Redis-五种数据结构之列表（ziplist、quicklist）
weixin_64612849的博客
06-19 1190
Redis 五种数据结构之列表主要介绍ziplist和quicklist列表
Redis底层数据结构之quicklist
xiong_tai的博客
04-22 2065
QuickList是由多个 ziplist 组成的双向链表，每个 ziplist 存储一定数量的元素。优点:结合了 ziplist 和双向链表的优点，既节省空间，又提升了修改操作的性能。使用场景: 在列表键元素较多或包含较大元素时使用。ziplist补充(ziplist缺点-链式扩容&级联更新)当一个entry被插入的时候，我们需要设置下一个entry中的prevlen字段为新插入entry的长度。
redis底层数据结构之ziplist
xiong_tai的博客
04-21 1608
一种连续内存空间存储的顺序数据结构，每个元素可以是字符串或整数。优点:节省内存空间。适用于存储小规模的列表或有序集合。缺点:修改操作可能引发连锁更新，影响性能。使用场景: 在列表键元素较少或元素都是小整数时使用。
Redis源码剖析和注释（七）--- 快速列表(quicklist)
qq_26249609的博客
01-16 1304
https://blog.youkuaiyun.com/men_wen/article/details/70229375 Redis 快速列表(quicklist) 介绍 quicklist结构是在redis 3.2版本中新加的数据结构，用在列表的底层实现。 通过列表键查看一下：redis 列表键命令详解 127.0.0.1:6379> RPUSH list 1 2 5 1000 "redis"...
#### redis里list结构底层——quickList，以及ziplist ####
仅做个人笔记
03-22 589
摘自：https://zhuanlan.zhihu.com/p/102422311 仅做个人备份，浏览请看原文 quickList quickList是一个ziplist组成的双向链表。每个节点使用ziplist来保存数据。本质上来说，quicklist里面保存着一个一个小的ziplist。 结构如下： 源码 typedef struct quicklistNode { struct quicklistNode *prev; //上一个node节点 struct qu.
redis的紧凑列表ziplist、quicklist、listpack
qq_32139981的博客
08-29 1997
当数据量较小时，Redis 会优先考虑用 ziplist 来存储 hash、list、zset，这么做可以有效的节省内存空间，因为 ziplist 是一块连续的内存空间，它采用一种紧凑的方式来存储元素。但是它也有缺点，比如查找的时间复杂度高、内存分配的开销、连锁更新的风险等。
【学习笔记】Redis数据结构梳理（一）：SDS、list、ziplist、quicklist、listpack
Left_Zzzz的博客
03-10 869
本文对Redis数据结构：SDS、list、ziplist、quicklist、listpack进行了知识梳理。
Redis 源码解析 - Redis 基本类型一链表list、ziplist、quicklist
qq_33240556的博客
04-30 335
Redis支持多种数据结构，其中包括链表（List）、压缩列表（ziplist）、以及快速列表（quicklist）。
ziplist、quicklist、listpack源码设计解读
子冉冰清的博客
12-19 2635
从ziplist到quicklist，再到listpack的启发 介绍 Redis 优化设计数据结构来提升内存利用率的时候，提到可以使用压缩列表（ziplist）来保存数据。所以现在你应该也知道，ziplist 的最大特点，就是它被设计成一种内存紧凑型的数据结构，占用一块连续的内存空间，以达到节省内存的目的。 但是，在计算机系统中，任何一个设计都是有利有弊的。对于 ziplist 来说，这个道理同样成立。虽然 ziplist 节省了内存开销，可它也存在两个设计代价： 一是不能保存过多的元素，否则访问性能会
Redis的SDS、intSet、Dict、ZipList、QuickList、RedisObject及五种数据结构详解
weixin_46665411的博客
04-07 964
Dict结构：类似java的hashTable,底层数组加链表解决哈希冲突Dict包含两个hash表，ht[0]平常用，ht[1]用来rehashDict的伸缩：当LoadFactor大于5或者LoadFacto大于1并且没有子进程任务时，Dict扩容当LoadFactor小于0.1时，Dict收缩扩容大小为第一个大于等于used+1的2ⁿ收缩大小为第一个大于等于used的2ⁿDict采用渐进式rehash,每次访问时执行一次rehash。
Redis内部数据结构详解(4)——quicklist
qq_38311489的博客
05-06 625
在本文中，我们介绍一个Redis内部数据结构——quicklist。Redis对外暴露的list数据类型，它底层实现所依赖的内部数据结构就是quicklist。 我们在讨论中还会涉及到两个Redis配置（在redis.conf中的ADVANCED CONFIG部分）： list-max-ziplist-size -2 list-compress-depth 0 quicklist概述 Redis...
Redis源码剖析--quicklist
harleylau的博客
06-01 4090
quicklist概述 上一节中，我们有说到Redis中的列表对象在版本3.2之前，列表底层的编码是 ziplist 和 linkedlist 实现的， 但是在版本3.2之后，重新引入了一个 quicklist 的数据结构，列表的底层都由quicklist实现。 在早期的设计中， 当列表对象中元素的长度比较小或者数量比较少的时候，采用ziplist来存储，当列表对象中元素的长度比较大或者数量比...
提供redis的底层数据结构架构设计图
08-22
Redis底层数据结构的设计是其高性能的核心之一。Redis内部通过一系列高效的数据结构来实现对外暴露的数据类型（如string、list、hash、set、zset），这些底层结构包括但不限于sds（简单动态字符串）、dict（字典）、intset（整数集合）、ziplist（压缩列表）、quicklist（快速列表）、listpack和skiplist（跳跃表）等。 ### Redis底层数据结构架构设计 1. **SDS（Simple Dynamic String）** Redis使用SDS来替代传统的C语言字符串，解决了C字符串的一些局限性，例如无法高效地获取字符串长度、容易造成缓冲区溢出等。SDS的结构包含一个长度字段，使得Redis能够以O(1)的时间复杂度获取字符串长度[^1]。 2. **Dict（字典）** 字典是Redis中用于实现哈希表的数据结构，基于数组和链表的组合结构。它支持O(1)时间复杂度的读写操作。Redis中的哈希键（hash key）就是通过字典实现的。字典的底层实现依赖于哈希函数和链表解决冲突，从而保证高效的存储和检索[^3]。 3. **Ziplist（压缩列表）** Ziplist是一种紧凑的、连续内存块的结构，用于存储多个小数据项。它的内存布局包括zlbytes（总字节数）、zltail（最后一项的偏移量）、zllen（数据项数量）、entry（实际数据项）和zlend（结束标记）。每个entry包含前一个节点的长度、当前节点的数据长度和具体的数据内容。这种设计使得ziplist非常适合存储小型数据集合，同时减少了内存碎片[^4]。 4. **Listpack** Listpack是Redis 5.0引入的新结构，用于替代ziplist。与ziplist不同的是，listpack中的每个节点不再记录前一个节点的长度，从而避免了连锁更新的问题。这种改进显著提高了内存使用的效率和性能[^2]。 5. **Quicklist（快速列表）** Quicklist是Redis中list数据类型的默认实现。它结合了ziplist和双向链表的优点，将多个ziplist节点通过双向链表连接起来，形成一个链表结构。这种设计既保持了内存的紧凑性，又避免了单个ziplist可能带来的性能问题，适合处理大数据量的列表操作。 6. **Intset（整数集合）** Intset是Redis中专门用于存储整数集合的数据结构。它通过动态调整存储方式（int16_t、int32_t或int64_t），尽可能减少内存占用。Intset支持高效的插入、删除和查找操作，适用于存储大量整数且不需要字符串功能的场景。 7. **Skiplist（跳跃表）** Skiplist是Redis中zset（有序集合）的底层实现之一。跳跃表通过多层索引结构实现了高效的查找、插入和删除操作，平均时间复杂度为O(log n)。跳跃表的层级设计使得它在处理大规模数据时依然保持较高的性能。 ### Redis底层数据结构的组织关系 Redis的底层数据结构之间存在一定的嵌套关系。例如，字典（dict）的实现依赖于哈希表（hashtable），而哈希表的底层实现可能涉及链表（用于处理哈希冲突）。类似地，quicklist的实现结合了ziplist和双向链表的特性，而zset则通过跳跃表（skiplist）和字典（dict）的组合实现了高效的有序集合操作。 ### 示例代码：Redis底层数据结构的模拟实现 以下是一个简化版的ziplist结构模拟实现，展示了如何通过紧凑的内存布局存储数据项： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> typedef struct ziplist { unsigned int zlbytes; // 总字节数 unsigned int zltail; // 最后一个entry的偏移量 unsigned short zllen; // entry数量 char entries[0]; // 数据项 } ziplist; typedef struct entry { unsigned int prevrawlen; // 前一个entry的长度 unsigned int len; // 当前entry的长度 char data[0]; // 数据内容 } entry; // 创建一个新的ziplist ziplist* create_ziplist() { ziplist *zl = (ziplist*)malloc(sizeof(ziplist)); zl->zlbytes = sizeof(ziplist); zl->zltail = 0; zl->zllen = 0; return zl; } // 向ziplist中添加一个entry void add_entry(ziplist *zl, const char *data, unsigned int len) { entry *e = (entry*)malloc(sizeof(entry) + len); e->prevrawlen = zl->zltail; e->len = len; memcpy(e->data, data, len); // 更新ziplist的总字节数和最后一个entry的偏移量 zl->zlbytes += sizeof(entry) + len; zl->zltail = (char*)zl + zl->zlbytes - (char*)zl; zl->zllen++; // 将新entry添加到ziplist的末尾 memcpy(zl->entries + zl->zlbytes - sizeof(ziplist), e, sizeof(entry) + len); free(e); } int main() { ziplist *zl = create_ziplist(); add_entry(zl, "hello", 5); add_entry(zl, "world", 5); printf("Total bytes: %u\n", zl->zlbytes); printf("Number of entries: %u\n", zl->zllen); printf("Last entry offset: %u\n", zl->zltail); free(zl); return 0; } ``` 这段代码模拟了ziplist的基本结构和操作，展示了如何通过紧凑的内存布局存储数据项。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值