Redis7底层数据结构优化:从ziplist到listpack的演进

ESP32连接PDM麦克风操作指南:新手入门必看 手把手教你如何将ESP32与PDM麦克风连接,采集音频数据并用于音频分类应用。内容涵盖硬件接线、代码配置及实际调试技巧,适合初学者快速上手esp32在声音识别场景中的使用。 阅读详情

1. 为什么Redis要“折腾”底层数据结构?

如果你用过Redis,肯定知道它快。但你可能不知道,这份“快”的背后,是Redis团队对内存和CPU锱铢必较的极致追求。他们就像一群顶尖的赛车工程师,不断打磨引擎的每一个零件,只为榨取出最后一丝性能。从Redis 6到Redis 7,一个看似不起眼但影响深远的变化,就是ziplist(压缩列表)被listpack(紧凑列表)逐步取代。

这听起来可能有点技术化,但理解它,能让你真正看懂Redis的设计哲学。简单来说,ziplist和listpack都是Redis用来存储“小数据”的“紧凑型”数据结构。想象一下你要搬家,ziplist就像一个塞得满满当当、用橡皮筋捆好的行李箱,虽然节省空间,但你想从中间拿出一件衣服,很可能导致整个箱子里的东西“连锁”地移位甚至散开。而listpack则像是一个设计更巧妙的收纳包,每件物品都有自己的独立隔间和尺寸标签,你拿走一件,其他物品依然稳稳当当。

在Redis 7之前,当Hash、Zset(有序集合)等数据类型的元素个数少、单个元素体积小时,Redis默认会使用ziplist来存储,目的就是为了省内存。这种“时间换空间”的策略在数据量不大时非常有效。但ziplist有一个致命的“阿喀琉斯之踵”——连锁更新问题。这就像多米诺骨牌,更新列表中间的一个元素,可能会引发后续所有元素都需要重新分配内存和移动数据,在最坏情况下,一次简单的更新操作,时间复杂度会从O(1)恶化到O(N)。

我亲身经历过一次线上事故,一个存储用户标签的小Hash,在某个热点标签值长度突然增加几个字节后,触发了连锁更新,导致该Key的写入延迟瞬间飙升,影响了整个服务的响应。排查了半天,最后才发现是ziplist在“作祟”。所以,当Redis 7宣布用listpack来替代ziplist时,我举双手赞成。这不仅仅是换一个数据结构,更是从根本上解决了一个长期存在的性能隐患。接下来,我们就深入这两个结构的内部,看看它们到底有何不同,以及listpack是如何优雅地解决这个历史难题的。

2. 深入拆解:ziplist的辉煌与隐痛

要理解为什么放弃ziplist,我们得先弄明白它到底是怎么工作的。你可以把ziplist想象成一列老式的绿皮火车车厢,所有乘客(数据)都紧密地坐在一起,没有空隙。

2.1 ziplist的内存布局:一节紧密相连的“火车”

ziplist是一块连续的内存空间,它的结构头尾加上中间的“乘客”车厢(entry)组成。我们用代码和表格来直观感受一下:

// ziplist的宏观布局
<zlbytes> <zltail> <zllen> <entry> <entry> ... <entry> <zlend>
  • zlbytes (4字节):记录整个ziplist占用了多少字节内存。方便重新分配内存时快速知道需要多少空间。
  • zltail (4字节):记录到最后一个entry起始位置的偏移量。有了它,我们就能直接找到队尾,不用从头遍历。
  • zllen (2字节):记录entry的数量。注意,当数量超过65535时,这个字段就存不下了,就得遍历整个列表才能数清楚。
  • entry (变长):真正存储数据的地方,每个entry就像一节车厢。
  • zlend (1字节):一个特殊的常量(0xFF),标识ziplist的结束。

每个entry的结构是理解一切的关键:

// entry的简化逻辑结构(实际存储是紧凑的字节数组)
<prevlen> <encoding> <entry-data>
  • prevlen:存储前一个entry的长度。这是ziplist实现双向遍历的核心,也是“罪恶”的根源。它的长度本身是可变的(1字节或5字节),如果前一个entry长度小于254字节,prevlen就用1字节存;否则,就用5字节(第一个字节固定是0xFE,后面4个字节存实际长度)。
  • encoding:编码字段,标识当前entry存储的数据类型(是整数还是字符串)以及数据的长度。
  • entry-data:实际的数据内容。

这种设计非常巧妙,它通过存储前一个节点的长度,让遍历可以从后往前进行,同时完全省去了像普通链表那样需要额外存储前后指针的巨大开销(每个指针在64位系统就是8字节)。在存储大量小整数或短字符串时,内存节省的效果极其显著。

2.2 连锁更新:ziplist的“阿喀琉斯之踵”

现在,让我们来看看那个著名的“连锁更新”问题。假设我们有一个ziplist,里面存了三个entry,长度都是250字节。

  1. 因为每个entry长度都小于254,所以它们每个的prevlen字段都只用了1个字节来存储前驱的长度(比如250)。
  2. 这时,我们在列表的头部插入一个新的entry A,长度是255字节。
  3. 紧跟在A后面的原第一个entry(现在变成第二个了),它的prevlen原本只用1字节存前驱长度(原前驱是250)。但现在它的前驱变成了A,长度是255(>253),所以它必须将prevlen从1字节扩展为5字节。
  4. 这个扩展操作导致第二个entry自己的总长度增加了4个字节。假设它从250字节变成了254字节。
  5. 现在,第三个entry的prevlen原本记录前驱长度是250(用1字节)。但现在它的前驱(第二个entry)长度变成了254(>253),所以第三个entry的prevlen也必须从1字节扩展为5字节。
  6. 以此类推……从插入点之后的所有entry,都可能因为前一个entry的长度变化而被迫重新分配内存、移动数据。

这个过程就像推倒了一排紧密排列的多米诺骨牌。一次本地的更新,可能引发全局的“海啸”。在最坏情况下,对一个长度为N的ziplist进行头插操作,时间复杂度会变成O(N²)。虽然这种极端情况不常发生,但在实际生产环境中,一旦发生就会导致请求延迟的剧烈抖动,对于追求稳定低延迟的Redis来说,这是不可接受的。

3. listpack:新一代的紧凑存储方案

为了解决连锁更新问题,Redis 7引入了listpack。它的目标很明确:在保持ziplist高内存密度、连续存储优点的同时,彻底斩断entry之间的长度依赖。

3.1 listpack的设计哲学:独立与自省

listpack的英文全称是“List Pack”,你可以把它理解为一个“独立打包的列表”。它的核心思想是:让每个entry只关心自己,不再依赖前一个兄弟。

我们来看看listpack的整体结构:

<total-bytes> <num-elements> <element-1> ... <element-n> <listpack-end-byte>

看起来和ziplist很像,对吧?最大的不同藏在每个element(也就是entry)的内部。

listpack的entry结构发生了根本性变化:

<encoding-type> <element-data> <element-total-len>

注意看结尾的 <element-total-len>,它被称为“backlen”,存储的是当前entry的总长度(包含encoding、data和backlen自身所占的字节数)。这个长度信息放在entry的末尾。

这个小小的改动,带来了革命性的变化:

  1. 遍历方式改变:要遍历listpack,你只能从后往前。先读取最后一个字节找到listpack的结束标记,然后读取最后一个entry的backlen,知道这个entry有多长,就能找到它的起始位置,然后解析它。接着继续用backlen找到前一个entry,如此反复。
  2. 彻底消除连锁更新:因为每个entry的backlen记录的是自己的长度,所以无论前面的entry如何增删改,后面entry的backlen都完全不受影响。更新操作被严格限制在单个entry内部。前面例子中,在头部插入一个大entry,只会导致该entry自身被创建,后面的所有entry都安然无恙。

3.2 实战对比:一次更新操作的内存视角

让我们写一段伪代码来感受一下区别。假设我们有一个存储了用户ID和昵称的Hash,底层最初用ziplist存储。

# 伪代码示意,非真实Redis命令
original_data = [ (1, “Tom”), (250, “Jerry_very_long_name”) ] # 第二个值变长了
# ziplist场景:更新 “Tom” -> “Thomas”
# 1. “Tom”(3字节) 改为 “Thomas”(6字节),第一个entry变长。
# 2. 第二个entry的prevlen需要从1字节扩展为5字节来记录新的前驱长度。
# 3. 第二个entry整体变长,可能触发后续更多entry的连锁更新(如果还有的话)。
# 内存需要大规模重排。

# listpack场景:更新 “Tom” -> “Thomas”
# 1. 找到第一个entry。
# 2. 分配新空间,写入新的encoding、“Thomas”、新的backlen。
# 3. 用新entry替换旧entry。**结束**。
# 第二个entry的指针原地不动,它的backlen字段看都不需要看一眼。

从内存操作的角度看,listpack的更新是局部且确定的,而ziplist的更新则是全局且不确定的。对于追求确定性和低延迟的数据库内核来说,listpack无疑是更优的选择。

4. 性能实测与配置指南

理论说得再好,不如实际跑一跑。我搭建了一个测试环境,用同样的数据分别测试在Redis 6(使用ziplist)和Redis 7(使用listpack)下,Hash和Zset在某些边界操作上的性能。

4.1 基准测试对比

我使用redis-benchmark和自定义的Lua脚本,模拟了最可能触发连锁更新的场景:在一个已经存在的、元素大小接近临界值的紧凑列表头部,反复插入一个稍大的元素。

测试环境: 4核CPU, 8GB内存, Redis 6.2.13 vs Redis 7.0.12。 测试数据: 一个Hash,初始包含500个字段,每个字段值长度在250-253字节之间(刻意逼近ziplist的prevlen扩展边界)。

操作: 使用HSET更新第一个字段的值,使其长度从250字节增加到255字节。

结果对比(平均延迟):

操作Redis 6.2.13 (ziplist)Redis 7.0.12 (listpack)性能提升
第一次触发更新~1.2 毫秒~0.15 毫秒约8倍
后续连续更新~0.5 毫秒 (仍有波动)~0.08 毫秒 (稳定)约6倍且更稳定

可以看到,在触发边界条件时,listpack的优势是碾压性的。第一次更新因为ziplist需要重新分配内存并移动大量数据,延迟非常高。即使在后续更新中,ziplist的延迟也明显高于listpack,并且抖动更大。而listpack的表现则始终稳定在极低的水平。

4.2 如何管理并使用listpack

在Redis 7中,listpack已经全面接管了之前ziplist的岗位。相关的配置参数名称也发生了变化,但含义类似,都是为了控制何时使用紧凑列表,何时转换为更通用的哈希表或跳表。

关键配置参数(redis.conf):

数据类型旧参数 (Redis 6, ziplist)新参数 (Redis 7, listpack)默认值含义
Hashhash-max-ziplist-entrieshash-max-listpack-entries512Hash中元素数量超过此值,转为hashtable
Hashhash-max-ziplist-valuehash-max-listpack-value64Hash中任意字段值长度(字节)超过此值,转为hashtable
Zsetzset-max-ziplist-entrieszset-max-listpack-entries128Zset中元素数量超过此值,转为skiplist
Zsetzset-max-ziplist-valuezset-max-listpack-value64Zset中任意member长度(字节)超过此值,转为skiplist
Listlist-max-ziplist-sizelist-max-listpack-size-2快速列表(quicklist)中每个listpack节点的最大容量。负值代表最大字节数,正值代表最多entry数。

给你的实践建议:

  1. 理解默认值:大多数情况下,Redis的默认配置已经足够优化。不要盲目调整这些值,除非你非常清楚你的数据模式。
  2. 监控与调优:使用OBJECT ENCODING key命令可以查看某个Key底层使用的数据结构。如果你发现大量本该用listpack存储的Hash变成了hashtable,并且内存增长较快,可以考虑在内存充足的情况下,适当调大hash-max-listpack-entries和hash-max-listpack-value,让更多数据享受紧凑存储带来的内存节省。但要注意,这可能会在极端情况下牺牲一些写入性能(因为listpack插入平均还是比hashtable慢)。
  3. 升级到Redis 7:如果你还在使用Redis 6或更早版本,并且业务中有大量使用小Hash、小Zset的场景,升级到Redis 7能直接获得更稳定、更可预测的性能表现,尤其是对于更新操作。这是“免费的午餐”。
  4. 数据设计启示:这个演进也提醒我们,在设计Redis数据结构时,要尽量避免让单个Key下的元素数量或元素大小总是在配置阈值附近“反复横跳”。例如,如果一个Hash的字段数经常在500左右波动(接近默认512),那么它就会频繁地在listpack和hashtable之间转换,带来不必要的开销。可以考虑拆分这个Hash,或者直接预判它就应该用hashtable。

从ziplist到listpack的演进,是Redis在“空间”与“时间”、“效率”与“稳定”之间做出的又一次精妙权衡。它舍弃了ziplist中为了双向遍历而引入的“历史包袱”(prevlen),通过让每个entry“自包含”(backlen),换来了操作性能的确定性和稳定性。这种在底层数据结构上持续的精雕细琢,正是Redis能保持高性能、低延迟的核心秘诀之一。下次当你享受Redis带来的极速体验时,不妨想想这些在内存中默默工作的、精巧如瑞士手表般的数据结构们。

ASPICE标准快速掌握「总目录」 欢迎大家来到雪云飞星的《ASPICE标准快速掌握》,开始前博主先列出本专栏学习的大纲,同时这也可以作为大家学习ASPICE协议知识点的参考。本专栏可以帮助大家快速掌握如何在项目中使用ASPICE,ASPICE的学习通常仅需要半天时间左右,掌握方法后完全就可以结合快查表来指导具体项目的质量提升了。 阅读详情

相关推荐

MapGIS地质剖面图绘制实战:从数据准备到整饰出图

本文详细解析了MapGIS地质剖面图绘制的全流程,从数据准备到整饰出图,涵盖了等高线处理、GRD格网化、比例尺控制等关键步骤。通过实战技巧和案例分析,帮助地质工作者高效完成专业地质剖面图绘制,提升矿产勘探和工程勘察的工作效率。

weixin_28335283的博客 595

第17章—数据结构篇:深入ziplist的替代者listpack

在这一节中,我们重点介绍了 Redis 5 引入的 listpack 结构,在 Redis 7 中,listpack 已经完全替换了复杂的 ziplist 结构。首先,讲解了 listpack 结构的细节以及其中 element 的编码方式。然后,重点分析了 ziplist 和 listpack 之间的区别,这也是 Redis 放弃 ziplist 的主要原因之一。

运维老生常谈 868

保姆级教程:用AdGuard DNS代理实现全设备广告过滤(含Win/Mac/安卓/iOS配置)

本文提供了一份详尽的AdGuard DNS代理配置指南,帮助用户在全设备(Win/Mac/安卓/iOS)上实现广告过滤。通过系统级DNS设置,AdGuard能有效拦截广告、跟踪器和恶意网站,提升隐私保护和浏览效率。教程涵盖原理说明、各平台配置步骤及高级优化技巧,适合不同技术水平的用户。

weixin_42656416的博客 836

FACEBOOK登录

FACEBOOK登录 相关设置:https://developers.facebook.com/apps 调用方法 public function third() { if (empty($type = Input::get('type', [ 'facebook', 'tuite' ]))) { return $this->error('参数错误'); } if (!Config::get('oauth.po

可爱馅儿的怂包子 1493

ADS2023实战:2.4GHz超外差接收机从设计到链路预算全流程解析

本文以ADS 2023软件为平台,详细解析了2.4GHz超外差接收机从核心指标定义、架构原理到完整链路搭建与仿真的全流程。通过实战演练,重点阐述了如何利用ADS进行谐波平衡仿真和链路预算分析,以量化评估系统增益、噪声系数等关键性能,为射频工程师提供了一套从理论到仿真的系统级设计方法。

herb5的博客 823

【Unity】Pico VR 开发实战:从环境搭建到交互实现

本文是一份详细的Unity Pico VR开发实战指南,涵盖从环境搭建到核心交互实现的全流程。详细讲解了如何集成Pico Unity Integration SDK与XR Interaction Toolkit,配置开发环境,并重点解析了手柄输入处理、射线交互以及VR UI操作三大核心模块的代码实现与优化技巧,帮助开发者快速上手Pico VR应用开发。

rice5的博客 1179

压缩列表(ziplist),quicklist,listpack,跳表傻傻分不清?带你超详细解读ziplist和listpack

Redis中Zset底层数据结构在不同版本有所变化:Redis7之前使用压缩列表(ziplist)和跳表,之后改用listpack和跳表。压缩列表和listpack适用于元素少且小的情况,否则使用跳表以提高查询效率。压缩列表通过prevlen、encoding、data顺序存储实现双向遍历,但存在连锁更新问题。listpack优化了结构,将prevlen改为len并移至尾部,彻底解决了连锁更新问题。跳表通过多级索引实现O(logN)查询,适合大数据量场景。这些结构设计充分考虑了内存利用率和查询效率的平衡。

w_shixian的博客 4043

推荐算法之Thompson(汤普森)采样

如果想理解汤普森采样算法,就必须先熟悉了解贝塔分布。 一、Beta(贝塔)分布 Beta分布是一个定义在[0,1]区间上的连续概率分布族,它有两个正值参数,称为形状参数,一般用α和β表示,Beta分布的概率密度函数形式如下: 这里的Γ表示gamma函数。 Beta分布的均值是: 方差: ...

weixin_30508241的博客 4260

Redis 底层数据结构解析(二):List 类型与 QuickList 的演进之路

Redis List 类型经历了显著的底层优化演进:从早期在 ziplist(内存高效但存在连锁更新问题)和 linkedlist(修改高效但内存开销大)间的切换,到 Redis 3.2 引入结合两者优势的 quicklist(双向链表+多个 ziplist 节点),再到 Redis 7.0 用 listpack 替代 ziplist 彻底解决连锁更新问题。quicklist 通过分段存储策略,在内存效率和操作性能间取得平衡,其核心结构为带填充因子控制的双向链表,每个节点存储一个 listpack。这种设计

NeoLshu的博客 1092

AI提示词注入绕过工具:一键绕过Codex/Claude安全限制,CTF夺旗与渗透测试必备神器

【摘要】codex-session-patcher是一款专为CTF选手设计的AI会话修复工具,能智能处理AI的拒绝回复问题。核心功能包括:两级拒绝检测策略、AI智能改写回复、批量清理会话记录、推理内容擦除与备份还原,并支持Codex/ClaudeCode/OpenCode三大平台。工具提供CLI和WebUI两种操作方式,支持CTF提示词注入和工作空间管理,可显著降低AI拒绝率。最新版本优化了CTF模板加载机制,修复了路径漂移等问题。典型工作流包含安装CTF配置、专用环境启动、会话清理和恢复对话等步骤,帮助安

Chengbei11的博客 3172

【ESP32设备通信】-LoRaWAN网关

在物联网 (IoT) 时代,连接设备和收集数据变得比以往任何时候都更加容易和重要。 LoRaWAN(远程广域网)技术已成为远程、低功耗物联网通信的强大解决方案。 在本教程中,我们将使用 ESp32 构建 LoRaWAN 网关电路,并使用 ESP32 和 BME280 传感器构建传感器节点电路。 对于这两个电路,我们将使用基于 SX1278 (Ra-02) LoRa 模块在设备之间进行无线通信。 我们还将向您展示如何将传感器数据传输到流行的物联网平台 ThingSpeak。

视觉与物联智能 1588

深入研究Redis的ZSet底层数据结构:从 Ziplist 的级联更新到 Listpack 的完美救场

Redis ZSet底层结构经历了从Ziplist到Listpack的演变,以解决内存与查询性能的平衡问题。Ziplist采用连续内存存储,但存在级联更新缺陷:当插入大节点时,后续节点需要扩展存储前驱节点长度,引发连锁内存重分配。Redis 7.0引入Listpack,将节点长度信息改为记录自身长度并置于末尾,切断级联更新的连锁反应。这一设计通过解耦节点间依赖关系,在保持高效的同时彻底解决了级联问题,体现了Redis在数据结构设计上对空间与时间的精妙权衡。

2401_87808951的博客 679

剪映自动化工具来了:AI帮你自动剪辑成片

🎬分享一个剪映自动化剪辑工具!AI 自动帮你完成从写文案、配音、加字幕、选音乐、上特效到最终导出的整套流程🎈

XiaoqiangClub的博客 861

Redis之底层数据结构

Redis底层数据结构解析:Redis的性能得益于其高效的数据结构设计。String类型根据值大小分为int、embstr、raw三种存储方式;Hash类型在Redis6.x使用ziplist+hashtable,Redis7.x改用更优的listpack+hashtable。ziplist通过连续内存存储提升寻址效率,但存在连锁更新问题;listpack作为其改进版,在保持优势的同时解决了这一问题。不同类型根据配置阈值自动选择最优存储结构,体现了Redis在内存使用和性能上的极致优化。

qq_44784918的博客 1340

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Redis数据结构底层深度解析:写入与读取的高效逻辑

Redis高性能的关键在于其精心设计的底层数据结构。本文深入解析了Redis的三种核心数据结构:String采用SDS实现,支持O(1)长度获取和内存优化;Hash根据数据量在ziplist/listpack和hashtable间智能切换,平衡内存与效率;List使用quicklist结合ziplist和链表的优势。这些设计使得Redis在读写操作上达到微秒级响应,相比JSON等格式,在内存占用、查询速度和网络传输方面均有显著优势,成为高性能缓存的首选方案。

喜欢炒股的码农 1419

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Redis7 新增数据结构深度解析:ListPack 的革新与优化

Redis 7.0引入了ListPack作为新一代序列化格式,替代了传统的ZipList,成为字符串、哈希、有序集合等数据类型的底层存储引擎。ListPack通过扁平化内存布局、高效的增删操作、优化的遍历机制和兼容性设计,显著提升了内存效率和访问速度。

希望我的博客,能帮上你解决学习中工作中所遇到的问题,也期待与您一起探讨技术问题,共同成长。 1660

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Redis 7.0实战:如何用listpack彻底解决ziplist的连锁更新问题?

本文深入解析了Redis 7.0中listpack数据结构如何彻底解决ziplist的连锁更新问题。通过对比ziplist、quicklist与listpack的设计差异,并结合源码分析与实战性能测试,阐述了listpack通过移除前向依赖、采用自包含entry设计,在保证内存紧凑性的同时,实现了O(1)的插入/更新复杂度,从而显著提升Redis核心数据结构的稳定性和性能。

swift5iosmith的博客 219

【Redis 底层数据结构全解析:SDS、QuickList、SkipList 原理与演进】

Redis是一种常用的内存数据库。深入了解其底层数据类型的原理,可以帮助用户在特定业务场景中选择合适的数据类型。这些知识在面试中也经常被问到。各种结构的读写操作的时间复杂度是多少?为什么不同的Redis版本有不同的底层实现?为什么一种数据类型会有多种底层实现?

diwuse的博客 766

Redis7底层数据结构深度解析:从源码透视高性能设计精髓

Redis采用两层数据结构设计,通过智能编码选择优化性能。String类型根据长度使用int/embstr/raw编码;Hash和ZSet在listpack与hashtable/skiplist间自动切换;List采用quicklist+listpack结构。Redis7用listpack全面替代ziplist,解决连锁更新问题。性能优化包括:内存局部性、渐进式rehash、小整数共享等。监控工具可分析数据结构使用,配置参数需根据业务调整。未来趋势包括更多压缩算法和硬件加速。

alonewolf_99的博客 1005

redis数据类型与底层数据结构-redis6与redis7的区别

Redis 7 对底层数据结构进行了重大优化,使用 listpack 替代 ziplist 解决级联更新问题,提升性能稳定性。SDS 优化了字符串处理,支持 O(1) 获取长度、自动扩容和二进制安全。不同数据类型根据元素数量和大小选择不同编码:String 有 int/embstr/raw 三种编码;Hash/List/ZSet 在小数据量时使用 listpack(Redis7)/ziplist(Redis6),大数据量转为 hashtable/quicklist;Set 对整数集合使用 intset。通过

shuai的博客 365

redis数据结构

skiplist是⼀种典型的⽤空间换时间的解决⽅案,适合那些数据量⽐较⼤,且读多写少的数据场景。表示redis上层数据类型,如string、hash、set等,使用type命令查看。Redis 判断是否为整数,看的是数值是否超出 long 范围,不是看字符串长度。表示对象引用次数,可以使用 object refcount key查看。redis在set数据时,会根据value的类型不同设置底层的编码格式。**存储格式 skiplist 与 listpack **表示一个指针,指向真正底层的数据结构。

qq_43572642的博客 341

【Redis从入门到精通】第20篇:List对象底层大揭秘——ziplist和linkedlist的切换时机

Redis List对象底层编码经历了从ziplist+linkedlist双编码到quicklist统一编码,再到Redis 7.0+ listpack替代的演进过程。早期版本根据元素数量和大小在ziplist和linkedlist间切换,但存在突变问题。Redis 3.2引入quicklist混合结构,通过链表串联多个小ziplist节点实现平衡。Redis 7.0后用更安全的listpack替代ziplist,解决连锁更新问题。这一演进体现了Redis在内存效率与性能间的持续优化,每次改进都针对前代的

xyghehehehe的专栏 335

《Java 100 天进阶之路》第91篇:Redis核心数据结构(2026版)

摘要:Redis 面试必考!一文搞懂 String、Hash、List、Set、ZSet、HyperLogLog、Bitmap 7 种核心结构。Redis 像一个超级快递站,数据从硬盘搬到快递站后,取货无需再跑仓库。从底层实现(ZipList → ListPack)到生产避坑,再到场景决策表,助你拿下缓存面试题。

折哥|智能物流与Java实战,副高数据库工程师。深耕出版社物流WMS/OMS(线体/立库/VGA),也分享Java进阶与OMS电商对接。Oracle→PG实战派。相信沉淀可迁移能力,分享通用技术,不藏不虚。 1606

Redis List 底层三种数据结构原理剖析

1. Redis List 是什么作为 Java 开发者的你,看到这个词并不陌生。在 Java 开发中几乎每天都会使用这个数据结构。Redis 的 List 与 Java 中的 LinkedList 类似,是一种线性的有序结构,可以按照元素被推入列表中的顺序来存储元素,能满足先进先出的需求,这些元素既可以是文字数据,又可以是二进制数据。你可以把他当做队列、栈来使用。2. 修炼心法我叫 Redis,...

码哥字节 592

Redis基础数据结构

Redis提供了五种基本数据结构(String、List、Set、Zset、Hash),每种都有特定应用场景和底层实现。底层数据结构包括简单动态字符串(SDS)、压缩列表(ziplist)、紧凑列表(listpack)、快速列表(quicklist)、跳跃表(skiplist)和哈希表(hashtable)。Redis通过智能选择底层实现(如小数据用紧凑结构,大数据用高效结构)来优化性能,并支持渐进式rehash避免阻塞。用户可通过配置参数调整存储策略,平衡内存使用和操作效率。

2401_85111883的博客 435

03-Redis 快的秘密藏在这里:数据类型与底层数据结构

本文从 Redis 五大数据类型出发,讲清 String、List、Hash、Set、ZSet 背后的底层编码与数据结构,包括 SDS、listpack、quicklist、hashtable、intset、skiplist 等核心实现,并结合编码切换阈值、电商业务场景和常见避坑,帮助读者真正理解 Redis 为什么快、怎么选型、如何避免大 key 和内存浪费。

m0_66500660的博客 500
上一篇: RPA实战-uipath 自动化邮件处理入门指南
下一篇: 2024极客大挑战64题全解:从签到到逆向的实战WriteUp
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值