Redis实战系列(3) 使用hashtable和hash-max-zipmap-entries优化内存使用

最新推荐文章于 2025-06-24 16:55:38 发布
最新推荐文章于 2025-06-24 16:55:38 发布
阅读量1w 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： redis 文章标签： redis 优化 存储 user email
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hobbs136/article/details/7625873
本文介绍了如何在Redis中利用hashtable和hash-max-zipmap-entries参数进行内存优化。在拥有50000个用户的系统中，每个用户有多个昵称和一个profile_id，原本的存储方案是为每个字段创建单独的hashtable，导致内存占用过大。通过调整策略，将所有信息存储在一个key的hashtable中，并设置hash-max-zipmap-entries，当元素数量低于设定值时使用zipmap压缩存储，从而降低了内存消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在我的系统中大约有50000个用户，每个用户有nickname1、nickname2、nickname3、nickname4、profile_id。对于上面几个属性来说，每个用户都是唯一的，而用户信息大概有70个字段。我用user:info:$profile_id作为一个hashtable的key来存储一个用户的所有信息。而系统要求能用nickname1、nickname2、nickname3、nickname4来获取到用户信息。

最先考虑的是每个字段对应一个hashtable：user:nickname1:profile_id:map作为一个key，$email作为hashkey, $profile_id作为hashkey的值。对四个字段都做如是的处理，这样处理的内存占用量大概是15M，总共有4个hashtable，每个hashtable中有50000个元素，总共有200000个元素。

        下面先解释一下hash-max-zipmap-entries和hash-max-zipmap-value，然后再介绍第二种方案。

hash-max-zipmap-entries是只hashtable中元素的总个数不超过设定数量时，就用zipmap的方式来存储hashtable以节省内存

hash-max-zipmap-value是hashtable中的
最低0.47元/天 解锁文章

200万优质内容无限畅学
【檀越剑指大厂--redis】redis高阶篇
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
09-08 1万+
Redis没有直接使用C语言传统的字符吕表示 (以空字符结尾的字符数组，以下简称C字符串)，而是自己构建了 一种名为简单动态字符串(simple dynamic string，SDS)的抽象象类型，并将SDS用作 Redis的默认字符串表示。存储String类型的key-value时,key和value都是SDS类型的.字符串键值都用SDS表示.//字节数组 char buf [ ];//buf数组中已使用字节数量 int len;//buf数组中未使用字节数量 int free;}
Redis原理-数据结构
略
07-08 1390
Redis原理篇 1、原理篇-Redis数据结构 1.1 Redis数据结构-动态字符串 我们都知道Redis中保存的Key是字符串，value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。 不过Redis没有直接使用C语言中的字符串，因为C语言字符串存在很多问题： 获取字符串长度的需要通过运算 非二进制安全 不可修改 Redis构建了一种新的字符串结构，称为简单动态字符串（Simple Dynamic String），简称SDS。 例如，我们执行命令： 那么
【Redis系列4】Redis哈希对象之hashtable(哈希表)和ziplist(压缩列表)实现原理分析
zwx900102的博客
11-15 4781
Redis哈希对象之hashtable和ziplist实现原理分析前言哈希对象hashtable字典rehash操作rehash步骤渐进式rehashziplistziplist和hashtable的编码转换总结 前言 上一篇我们分析了列表对象的底层存储结构linkedlist，ziplist和quicklist的实现原理，并将这三种数据结构进行了分析对比。这一篇我们继续分析Redis中5种常用数据类型的第3种基本数据类型哈希对象的底层存储结构。 哈希对象 哈希对象本身也是一个key-value存储结构，底
redis -- hash_max_zipmap_entries设置过大有问题
记录些细节的东西
11-08 1084
使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑   #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255     /* Return the number of ent...
Redis哈希压缩列表触发条件详解：hash-max-ziplist-*参数深度解析
最新发布
weixin_42148384的博客
06-24 456
在Redis中，哈希（Hash）类型是存储键值对集合的高效数据结构，但它的内部实现并非“一刀切”——为了平衡内存占用和操作性能，Redis会根据数据特征自动选择更优的内部编码方式。其中，压缩列表（ZipList）是专门为小数据量优化的紧凑存储结构，而它的触发条件与两个核心配置参数密切相关：hash-max-ziplist-entries和hash-max-ziplist-value。 本文将从原理、触发条件、配置实战到注意事项，带你彻底搞懂Redis哈希的压缩列表机制！
redis之zipmap
fusan2004的博客
06-25 1105
类型介绍 代码分析 变量 ZIPMAP_BIGLEN, zipmap的最大长度 ZIPMAP_END, zipmap的结束符 ZIPMAP_VALUE_MAX_FREE, zipmap的free部分最大长度 函数 zipmapNew，新建一个zipmap; unsigned char *zipmapNew(void) { unsigned char *zm = zmallo
redis 中ziplist和hashtable数据结构
胖墩的IT博客
03-09 1390
hash存储在redis底层存储空间结构有两种，分别是ziplist和hashtable，这俩的先后顺序是先创建ziplist，当ziplist中的某个value大于设置的阈值或者整个ziplist的长度大于某个阈值，则ziplist会转换成hashtable， ziplist数据结构图 hashtable数据结构图 这样做的原因 如果你学过java，那就应该知道hashmap在JDK1.8及之后时，使用的是数组+链表+红黑树的数据结构，它转换的条件: 当阈值是默认阈值0.75，链表的深度大于等于.
redis的ziplist
jason的笔记
02-05 812
当数据库中一个列表键只包含少量数据并且每个列表项是小整数值或者短的字符串，redis就用ziplist 来保存。 这里需要注意ziplist 是用连续的内存来保存值. redis 中通过ziplist来新建一个ziplist，其实现如下： unsigned char *ziplistNew(void) { // ZIPLIST_HEADER_SIZE 是表头大小 unsigned int
Redis实战（通俗易懂，超详细攻略） V2.0版本
热门推荐
B君的军火库
04-28 1万+
Redis内存数据库
Redis使用手册
m0_74824894的博客
02-15 868
Redis是一个开源的，先进的key-value持久化产品。它通常被称为数据结构服务器，它的值可以是字符串（String）、哈希（Map）、列表（List）、集合（Sets）和有序集合（Sorted sets）等类型。可以在这些类型上面做一些原子操作，如：字符串追加、增加Hash里面的值、添加元素到列表、计算集合的交集，并集和差集；或者区有序集合中排名最高的成员。为了取得好的性能，Redis是一个内存型数据库。
Redis Ziplist 概述
z69183787的专栏
01-25 1583
https://www.jianshu.com/p/37c49b4e3bd0 压缩列表 压缩列表（ziplist）是列表键和哈希键的底层实现之一。 当一个列表键只包含少量列表项， 并且每个列表项要么就是小整数值， 要么就是长度比较短的字符串， 那么 Redis 就会使用压缩列表来做列表键的底层实现。 比如说， 执行以下命令将创建一个压缩列表实现的列表键： redis> RPUSH...
[Redis] 哈希类型与ziplist
程序员老狼专注开发aigc或客服系统应用
03-20 327
项目中使用到了redis的哈希结构 , 哈希结构的内部编码类型是 ziplist 和 hashtable 当元素个数小于512 , 并且值的大小小于64个字节时 , 采用ziplist , 大于的时候采用hashtable ziplist最大的优势就是存储的时候是连续的内存 , 可以极大的提升cpu的缓存命中率 使用object encoding 键 来查看所存储数据的内部编码类...
redis:hash数据类型与操作
Wave的专栏
08-16 2598
Redis hash是一个string类型的field和value的映射表.一个key可对应多个field，一个field对应一个value。将一个对象存储为hash类型，较于每个字段都存储成string类型更能节省内存。新建一个hash对象时开始是用zipmap(又称为small hash)来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不
【Redis】常用五种数据类型
软件工程探索之旅
07-15 1690
redis是一种高级的key:value存储系统，其中value支持五种数据类型：1.字符串（string）2.字符串列表（list）3.字符串集合（set）4.有序字符串集合（sorted set）5.哈希（hashe）而关于key，有几个点要提醒大家：1.key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率；2.key也不要太短，太短的话，key的可读性会降低；3.在...
Redis学习手册(内存优化)
hujiao_jingling的专栏
05-15 622
一、特殊编码：     自从Redis 2.2之后，很多数据类型都可以通过特殊编码的方式来进行存储空间的优化。其中，Hash、List和由Integer组成的Sets都可以通过该方式来优化存储结构，以便占用更少的空间，在有些情况下，可以省去9/10的空间。     这些特殊编码对于Redis的使用而言是完全透明的，事实上，它只是CPU和内存之间的一个交易而言。如果内存使用率方面高一些，那么
Redis性能优化
weixin_33754065的博客
08-03 1484
  本文开始会讲解一下redis的基本优化，然后会举一些优化示例代码或实例。最后讲解一下，默认启动redis时，所报的一些警示错误。 一、优化的一些建议 1、尽量使用短的key 当然在精简的同时，不要为了key的“见名知意”。对于value有些也可精简，比如性别使用0、1。 2、避免使用keys *   keys *, 这个命令是阻塞的，即操作执行期间，其它任何命令在你的实例中都无法执行。当red...
【25-Reids内存优化】
https://github.com/Wang-Jun-Chao
12-23 1070
edis2.2版本及以后，存储集合数据的时候会采用内存压缩技术，以使用更少的内存存储更多的数据。如Hashes,Lists,Sets和Sorted Sets，当这些集合中的所有数都小于一个给定的元素，并且集合中元素数量小于某个值时，存储的数据会被以一种非常节省内存的方式进行编码，使用这种编码理论上至少会节省10倍以上内存（平均节省5倍以上内存）。
redis.conf 配置参数详解
codedot
01-27 3488
redis.conf文件配置参数详解
数据大小超出此类型的最大值_零基础学习大数据：Redis数据存储优化机制详解...
weixin_39689297的博客
12-08 264
zipmap优化hash将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加，删除，查找都是O(n)，但是由于一般对象的field数量都不太多。所以使...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值