Redis底层数据结构之quicklist

已于 2024-04-24 20:25:21 修改
阅读量1.8k 收藏 34
点赞数 28
分类专栏： Redis 文章标签： redis 数据结构 数据库 quicklist
于 2024-04-22 11:59:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiong_tai/article/details/138069920
版权

目录

redis底层数据结构已完结👏👏👏：

一、概述

QuickList是由多个 ziplist 组成的双向链表，每个 ziplist 存储一定数量的元素。优点:结合了 ziplist 和双向链表的优点，既节省空间，又提升了修改操作的性能。使用场景: 在列表键元素较多或包含较大元素时使用。

在这里插入图片描述

ziplist补充(ziplist缺点-链式扩容&级联更新)
当一个entry被插入的时候，我们需要设置下一个entry中的prevlen字段为新插入entry的长度。会发生如下的情况：新插入entry的长度超过了254[>=254]，那么下一个entry的prelen需要5个字节记录该长度，但是呢，此时下一个entry的prevlen字段此时只有一个字节，所以需要对下一个entry进行grown[扩容]，更糟糕的是，下个entry因为扩容导致长度超过254，还会引起下下个entry的扩容…，这种现象呢就是级联更新，简单点来说就是，因为一个entry的插入导致之后的entry都需要重新扩容和记录前一个entry的prevlen现象称之为“级联更新”。

从 Redis 6.2 版本开始，quicklist 的底层实现由原来的 ziplist 改为了 listpack。Listpack 是 ziplist 的升级版本，主要是为了解决ziplist中存在的一些问题，比如，ziplist中扩展元素长度时可能需要进行昂贵的重新分配操作。listpack 提供了更好的性能和内存使用效率，在保持与 ziplist 类似的密集存储方式的同时，允许更大的单个元素大小，并且有更强的扩展性。listpack和ziplist对象结构的不同是，listpack将prevlen替换为了curlen，从而有效避免级联更新。并将且将culen字段放在entry结构的最后面。这样做是为了，能够通过total-bytes定位到最后一个element的末尾位置然后获取到curlen从而找到前一个element的位置，从而实现从后往前遍历。

补充说明listpack和ziplist
参考博客 ziplist和listpack

  • ziplist包括三大部分，<头部，entry，尾部>。头部包含"zlbytes,zltail,zllen"；尾部包含"zlend标记ziplist的结尾"；entry包括"prevlen,encoding,entry_data"。由于prevlen记录方式存在级联更新的问题，小于254字节需要1字节内存，大于等于254字节需要5字节内存。
  • listpack包括三大部分，<头部，entry，尾部>
最低0.47元/天 解锁文章
Redis系列之底层数据结构QuickList
Nicky's blog
12-17 931
在Redis3.2版本后，Redis推出了快速列表（QuickList）这种数据结构，之前的版本list都是元素少时用压缩列表（ZipList），元素多就用链表（LinkedList）。快速列表是一种双端链表的数据结构，QuickList用于处理Redis中List类型数据。
Redis底层数据结构之Dict
xiong_tai的博客
04-23 3101
Redis 的 Dict 是一个高效的键值对映射数据结构，采用双哈希表实现以支持无锁的渐进式 Rehash，确保扩容或缩容时的高效性能。它通过哈希表节点以链表形式解决哈希冲突，允许快速的查找、插入和删除操作，是实现 Redis 各种数据类型和高级功能的基础架构之一。
Redis - quicklist（快速列表）
一七令
06-06 4100
这篇博文用来解读Redis数据类型List的一种实现。数据结构quicklist。虽然List类型有多种实现，但quicklist是最常用的。quicklist是一个双向链表，但同时也是一个复合的结构体。结构中包括了另一种结构ziplist。如果不熟悉这种结构体，请先阅读这篇博文《ziplist-压缩列表》。文中介绍了ziplist是一种十分节省内存的结构，紧凑的内存布局、变长的编码方式在内存使用量上有着不小的优势。https。......
Redis内部数据结构quicklist详解
m0_73603837的博客
09-14 332
在本文中，我们介绍一个Redis内部数据结构——quicklist。Redis对外暴露的list数据类型，它底层实现所依赖的内部数据结构就是quicklist。我们在讨论中还会涉及到两个Redis配置（在redis.conf中的ADVANCED CONFIG部分）：我们在讨论中会详细解释这两个配置的含义。注：本文讨论的quicklist实现基于Redis源码的3.2分支。quicklist概述Redis对外暴露的上层list数据类型，经常被用作队列使用。
zipList quickList
最新发布
HBryce24的博客
03-12 614
zipList && quickList
Redis 数据结构——quicklist
Hanyinh的博客
08-07 847
一、quicklist 介绍 1、quicklist 简介 Redis 中的 list 数据类型在版本 3.2 之前，其底层的编码是 ziplist 和 linkedlist 实现的，但是在版本 3.2 之后，重新引入了一个 quicklist 的数据结构，list 底层都由 quicklist 实现。 ​ 在早期的设计中， 当 list 对象中元素的长度比较小或者数量比较少的时候，采用 ziplist 来存储，当 list 对象中元素的长度比较大或者数量比较多的时候，则会转而使用双向列表 linkedli
Redis底层数据结构-QuickList
weixin_45275107的博客
07-29 409
Redis底层数据结构-QuickList
redis底层数据结构之QuickList
qq_48669591的博客
08-07 223
redis底层数据结构之QuickList
【Redis】快速列表（QuickList）
qq_53395115的博客
07-21 831
QuickList QuickList是Redis3.2版本中新增加的一种数据结构类型，在该版本后替代原有的ZipList+LinkedList的链表底层，成为新的链表底层数据结构。 它的定义在quicklist.c中如下： A doubly linked list of ziplists. //一个由ziplist组成的双向链表。 通过定义可知，该结构满足原链表底层的需求，且全程使用zipList，无需判断是否需要使用zipList， （关于ZipList可以看【Redis】压缩列表） 理解 Qui
Redis基础数据结构之 quicklist 和 listpack 源码解读
无休居士的博客
09-16 2513
Quicklist 是 Redis 3.2 引入的一种新的数据结构，旨在优化列表类型的存储。Quicklist 是一种链表结构，其中每个节点都是一个ziplist。这样做的目的是结合ziplist的优点（内存效率）和传统链表的优点（更好的插入和删除性能）。在Redis 7.0版本之前，quicklist是由双向链表和压缩列表构成的。然而，在Redis 7.0版本中，quicklist的底层实现由双向链表和压缩列表变为了由双向链表和listpack构成的结构。
redis底层数据结构之ziplist
xiong_tai的博客
04-21 1464
一种连续内存空间存储的顺序数据结构，每个元素可以是字符串或整数。优点:节省内存空间。适用于存储小规模的列表或有序集合。缺点:修改操作可能引发连锁更新，影响性能。使用场景: 在列表键元素较少或元素都是小整数时使用。
【高阶篇】3.4 Redis之底层数据结构快表QuickList详解
日拱一卒无有尽，功不唐捐终入海
06-12 3326
Redis中的快表（QuickList）是一种特殊的数据结构，用于存储一系列的连续节点，每个节点可以是一个整数或一个字节数组。快表是Redis中的底层数据结构之一，常用于存储有序集合（Sorted Set）等数据类型的底层实现。在本文中，我们将深入了解Redis中的快表，包括快表的结构和操作等。
redis底层数据结构之快速列表(quicklist)
junff
12-17 1644
redis快速列表(quicklist)底层结构
6、Redis系统-数据结构-07-QuickList
qq_29434541的博客
07-07 966
在 Redis 中，快速列表通过结合双向链表和压缩列表的优点，实现了高效的存储和操作，适用于需要频繁插入、删除和查找的场景。填充因子越小，每个节点包含的元素越少，插入和删除操作的性能越高，但内存利用率可能会下降。压缩深度越大，压缩列表节点之间的数据压缩程度越高，内存利用率越高，但解压缩操作的开销可能会增加；压缩深度越小，压缩列表节点之间的数据压缩程度越低，解压缩操作的开销较小，但内存利用率可能会下降。查找元素时，通过遍历快速列表节点，查找包含目标元素的压缩列表，然后在压缩列表中查找目标元素。
Redis底层数据结构-----quickList
m0_58438555的博客
02-21 908
quickList介绍 在redis3.0以前，List对象的底层数据结构是双向链表或者压缩链表在3.2的时候，List对象的底层改为由quicklist数据结构实现。 quickList链表就是双向链表+压缩链表组合，quicklist本身是个链表，链表中的元素是压缩列表。 quicklist的数据结构 typedef struct quicklist { //quicklist的链表头 quicklistNode *head; //quicklist的链表尾
Redis存储结构之QuickList
java那些事儿
09-08 377
快速列表（quicklist）是以压缩列表（ziplist）为节点的链表（linkedlist），将链表按段切分，每一段使用压缩列表进行内存的连续存储，多个压缩列表通过prev和next指针组成的双向链表。它结合了压缩列表和链表的优势，进一步压缩了内存的使用量，进一步提高了效率。
Redis源码剖析--快速列表quicklist
ZeeCoder
12-20 4894
在RedisObject这一篇博客中，有介绍到list结构的底层编码类型有OBJ_ENCODING_QUICKLIST，当时就发现这个底层数据结构被我遗漏了。昨天花了点时间补了补这个知识，看完发现这货就跟STL中的deque的思想一样，顿时觉得又是一个实现超级繁琐但很实用的数据结构。今天就带大家一起来看看这个“二合一”的数据结构。 quicklist是Redis在3.2版本加入的新数据结构，其是
【redis基础知识】数据结构之快速列表：quicklist
dylan的博客
11-23 554
【redis基础知识】数据结构之快速列表quicklist，源码分析
Redis之快速链表(quicklist)
m0_53804791的博客
11-17 1723
quicklist什么是快速链表快速链表结构 什么是快速链表 快速链表是Redis3.2之后引入的一种数据类型, 该结构它是由链表和压缩链表结合起来的一种结构, 即是一个双向链表, 并且链表中的每一个节点是一个压缩链表. 这样的设计能在时间效率和空间效率上实现较好的折中 在3.2之前列表是用, 双向链表或者压缩链表来实现的, 到了3.2之后, 列表底层就全用快速链表来实现了 快速链表结构 typedef struct quicklist { //指向头部(最左边)quicklist节点的指针
redis的列表底层数据结构
01-12
### Redis 列表的底层数据结构 Redis列表采用快速链表（quicklist）作为其底层的数据结构[^2]。这种设计融合了双向链表与压缩列表（ziplist）的优点。 #### 快速链表 (QuickList) 快速链表本质上是一种优化后的双向链表，其中每个节点不仅指向前后相邻的节点，还包含了一个压缩列表 ziplist。这意味着每一个 quicklist 节点实际上封装了一个小型的 ziplist 结构，从而允许更高效的内存管理和访问模式[^3]。 ```c typedef struct quicklist { // ...其他成员... quicklistNode *head; quicklistNode *tail; } quicklist; typedef struct quicklistNode { unsigned char encoding; /* 编码方式 */ int count; /* 当前ziplist中的元素数量 */ int mem_usage; /* 使用了多少字节 */ quicklistEntry entry; /* 用于迭代器 */ struct quicklistNode *prev, *next;/* 前驱和后继指针*/ unsigned char *zl; /* 指向ziplist的实际数据 */ } quicklistNode; ``` #### ZIPLIST 特性 Ziplist 是一种紧凑型线性序列化容器，在单个连续分配的缓冲区内存储一系列项。它特别适合于短字符串或小整数值，并能显著减少内存碎片并提高缓存命中率。然而，随着长度增加，操作效率可能会受到影响；因此，当达到一定阈值时，系统会选择切换至更为传统但占用更多空间的实现方法[^1]。 #### API 和自动调整机制 为了简化开发者的工作流程，Redis 提供了一系列高级别的命令接口来处理列表的操作，比如 LPUSH、RPUSH 等等。这些API能够透明地管理内部使用的具体数据结构形式——无论是初始状态下的ziplist还是扩展之后形成的完整双向链表形态。此外，根据实际应用场景的需求变化，Redis 还可以在运行期间动态改变所选用的数据结构类型以保持最佳性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值