redis“万金油”的String，为什么不好用了？

最新推荐文章于 2023-09-05 14:32:05 发布
最新推荐文章于 2023-09-05 14:32:05 发布
阅读量405 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 从入门到精通的Redis 文章标签： String
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_36691991/article/details/120887600
本文探讨了Redis中String类型在存储大量键值对时的内存开销问题，指出String类型的元数据开销较大。文章通过一个图片存储系统的案例，展示了如何使用集合类型（如Hash）和压缩列表来节省内存，特别是通过二级编码方法实现单值键值对的存储，从而降低内存消耗。总结了String类型的内存消耗来源，并提供了优化方案。

从今天开始，我们就要进入“实践篇”了。接下来，我们会用5节课的时间学习“数据结构”。我会介绍节省内存开销以及保存和统计海量数据的数据类型及其底层数据结构，还会围绕典型的应用场景（例如地址位置查询、时间序列数据库读写和消息队列存取），跟你分享使用Redis的数据类型和module扩展功能来满足需求的具体方案。

今天，我们先了解下String类型的内存空间消耗问题，以及选择节省内存开销的数据类型的解决方案。

先跟你分享一个我曾经遇到的需求。

当时，我们要开发一个图片存储系统，要求这个系统能快速地记录图片ID和图片在存储系统中保存时的ID（可以直接叫作图片存储对象ID）。同时，还要能够根据图片ID快速查找到图片存储对象ID。

因为图片数量巨大，所以我们就用10位数来表示图片ID和图片存储对象ID，例如，图片ID为1101000051，它在存储系统中对应的ID号是3301000051。

photo_id: 1101000051
photo_obj_id: 3301000051

可以看到，图片ID和图片存储对象ID正好一一对应，是典型的“键-单值”模式。所谓的“单值”，就是指键值对中的值就是一个值，而不是一个集合，这和String类型提供的“一个键对应一个值的数据”的保存形式刚好契合。

而且，String类型可以保存二进制字节流，就像“万金油”一样，只要把数据转成二进制字节数组，就可以保存了。

所以，我们的第一个方案就是用String保存数据。我们把图片ID和图片存储对象ID分别作为键值对的key和value来保存，其中，图片存储对象ID用了String类型。

刚开始，我们保存了1亿张图片，大约用了6

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Redis万金油的String类型为什么不管用了？
weixin_44335140的博客
05-23 689
String类型是Redis中非常常用的一个数据结构，可以说他几乎是万能的，可以去保存任何的数据，但能保存不意味着他适合所有场景。今天就介绍一种场景，需要保存大量数据的场景。
Redis 全景图（1）--- 关于 Redis 的6大模块
qq_54432917的博客
03-30 1325
这几天，我一直在看各种不同类型的 Redis 文章，通过阅读这些文章，引发了我对于 Redis这个大知识点的很多思考。我看过的一篇又一篇的文章都帮助着将我脑子里我学过的Redis的零散知识点整合在一起，从而构建一个 Redis 全局系统观，帮助着我用一个全局的方式看待 Redis 这个存储系统。接下来，我计划用文字的方式，将我脑子里的 Redis 蓝图一一描绘出来。
Redis中“万金油“的string，为什么不好用了
凝神遐想的博客
12-20 268
分享一个曾经使用Redis时遇到的需求以及解决方案 当时，要开发一个图片存储系统，要求这个系统能快速地记录图片ID，和图片在存储系统中保存时的ID（可以直接叫作图片存储对象ID）。同时，还要能够根据图片ID快速查找到图片存储对象ID。 因为图片数量巨大，所以我们就用10位数来表示图片ID和图片存储对象ID，例如，图片ID为1101000052，它在存储系统中对应的ID号是3301000052。 photo_id: 1101000052 photo_obj_id: 3301000052 可以看到，图片ID和
实践篇 11 | 万金油的string，为什么不好用了
vectorX的博客
08-21 368
string类型的内存空间消耗问题。 一个图片存储系统，需要 快速记录图片ID和图片在存储系统中保存的ID（存储对象id） 根据图片ID查找图片存储id 图片数量巨大，用10位数表示图片ID和存储对象ID，如图片ID：1101000051，存储系统中对象ID：3301000051 photo_id: 1101000051 photo_obj_id: 3301000051 键-单值模式，单值指的是键值对的值不是集合。和string类型提供的“一键一值”的保存形式刚好。 且String..
Redis学习笔记——万金油string为什么不好用了？
qq_34132502的博客
06-18 371
为什么string不好用了 首先string太大了 在Redis中，保存一个string需要使用64字节。如果要保存一个long型整数，原数据只有8字节，而却需要八倍的空间去存储它，这在保存大量数据时时非常不划算的。 为什么需要用的64字节的空间？ 因为string不光有自身数据，还有一些“辅助”数据，比如自身的长度以及所占空间，这两个分别需要4字节，目前需要16字节。这些数据称为简单动态字符串（Simple Dynamic String，SDS） 而这之外还需要“包裹一层”RedisObject，由元数
第十一章 “万金油”的String，为什么不好用了
JavaAlenboy
04-29 1362
第十一章 “万金油”的String，为什么不好用了 ? 为什么 String 类型内存开销大 ? 除了记录实际数据，String 类型还需要额外的内存空间记录数据长度、空间使用等信息，这些信息也叫作元数据。 所谓元数据信息，就是描述信息的信息。 当实际保存的数据较小时，元数据的空间开销就显得比较大了。 String 类型具体是怎么保存数据的呢 ? String中保存整数会用 int编码 方式， 而保存的数据是字符时会用 SDS(简单动态字符串) 结构体 来保存。 buf：字节数组，保存实际数据。
11 万金油 String，为什么不好用了？
wmt0501的博客
04-09 557
以下将讲解 String 数据类型在 Redis 中的空间消耗问题，其中结合“图片管理系统”这个应用场景，使用 Redis 来实现根据图片的 ID 获取到存储系统中保存的ID（可以直接叫作图片存储对象ID），其中图片 ID 及其图片存储对象 ID 都是用 10 位数字来保存，其中 Redis 系统中存储了一亿个图片，使用的 6.4G 的内存。平均下来，每对图片 ID 与图片存储对象的键值对就需要消耗 64 个字节，然而 10 位数字只需要使用 8 个字节保存，两个加起来仅仅只需要 16 个字节，那么额外的内
Rediis数据存储方式String和Hash、存储结构哈希表和压缩列表之间的优劣
Pert的博客
11-18 705
从今天开始，我们就要进入“实践篇”了。接下来，我们会用 5 节课的时间学习“数据结构”。我会介绍节省内存开销以及保存和统计海量数据的数据类型及其底层数据结构，还会围绕典型的应用场景（例如地址位置查询、时间序列数据库读写和消息队列存取），跟你分享使用 Redis 的数据类型和 module 扩展功能来满足需求的具体方案。今天，我们先了解下 String 类型的内存空间消耗问题，以及选择节省内存开销的数据类型的解决方案。先跟你分享一个我曾经遇到的需求。
10 | “万金油”的String，为什么不好用了？
谢谢大家的关注
05-24 197
我们保存了1亿张图片的信息，用了约6.4GB 的内存，一个图片 ID 和图片存储对象 ID 的记录平均用了64字节。但问题是，一组图片 ID 及其存储对象 ID 的记录，实际只需要16字节就可以了。我们来分析一下。图片 ID 和图片存储对象 ID 都是10位数，我们可以用两个8字节的 Long 类型表示这两个 ID。因为8字节的 Long 类型最大可以表示2的64次方的数值，所以肯定可以表示10位数。但是，为什么 String 类型却用了64字节呢？
string最大长度_实践篇 (01) String，为什么不好用了？
weixin_39593354的博客
12-10 250
我们就要进入“实践篇”了。接下来 5 篇的时间学习“数据结构”。介绍节省内存开销以及保存和统计海量数据的数据类型及其底层数据结构，还会围绕典型的应用场景（例如地址位置查询、时间序列数据库读写和消息队列存取），跟你分享使用 Redis 的数据类型和 module 扩展功能来满足需求的具体方案。先了解下 String 类型的内存空间消耗问题，以及选择节省内存开销的数据类型的解决方案。先分享一个需求。当...
Redis：string类型带来的空间消耗过大的问题。
weixin_40108561的博客
10-15 1784
案例：使用Redis的string类型保存图像ID和图片存储对象 ID，图像ID为Key、图片存储对象ID为Value。两者均为10位纯数字。保存1亿对键值消耗空间6.4GB，平均1个键值对消耗64字节。 问题：按理来说8个字节可以表示2的64次方-1，超过了10位数字，案例中键值对加起来消耗16字节也就罢了，为什么消耗了64字节？ 回答：除了记录实际数据，String 类型还需要额外的内存空间记录数据长度、空间使用等信息，这些信息也叫作元数据。当实际保存的数据较小时，元数据的空间开销就显得比较大了。 St
Redis字符串优化
sinat_36171694的博客
09-04 1114
来自：《Redis开发与运维》第8.3.4节 1.字符串结构 Redis没有采用原生C语言的字符串类型而是自己实现了字符串结构， 内部简单动态字符串（simple dynamic string， SDS） 。如下图所示： Redis自身实现的字符串结构有如下特点： ·O(1)时间复杂度获取： 字符串长度、 已用长度、 未用长度。 ·可用于保存字节数组， 支持安全的二进制数据存储。 ...
redis缓存生产实践(一)---大key压缩
池海
04-27 4413
如果你在查找一些redis最佳实践或者内存优化的解决方案时常常会在各种繁杂的文章中充斥着大key,热key等字眼，其中的内容也是大径相庭。但是却基本看不到一些实际案例或者代码让你看了之后也云里雾里毕竟喜欢借鉴是我们国人传承至今的优秀美德，今天这个文章就简单分享下我的解决方案跟脱敏代码希望给需要的同学一点帮助。下面我将使用脱敏代码进行演示，这里说明下为了代码的自由度和可控制性实际操作中我并没有采用被很多人推崇的spring cache来进行整合而是采用自定义注解 + AOP的方式进行了一些定制化的开发。
Java接口性能优化万金油之缓存
xianren95的博客
08-30 1359
性能优化之缓存的的相关讲解
过关斩将！这份Java面试笔记，让你变成面试“万金油”。在“秋招季”一骑绝尘！
欢迎来到我的博客
09-05 150
作为一名资深的Java开发工程师，也是一位拥有多年面试官经验的老手。今天，我将与你分享一些关于Java面试的黄金法则，这些法则不仅可以让你在面试中游刃有余，还能够助你事半功倍地获取梦寐以求的工作机会。相信我，不看会后悔一辈子！在激烈的职场竞争中，掌握Java开发的关键技能是成功的第一步。但是，如果你无法在面试中展示这些技能，它们就无法真正发挥作用。
Redis的String，Hash与ziplist压缩列表数据结构（节省空间向）
skye_fly的博客
08-20 1876
一、String数据结构存放数据 1. String优点： String可以保存二进制字节流，任何数据转换成二进制字节流就可以用String来存储，比较万金油； 2. 缺点： String保存数据时占用的内存空间比其他数据结构更多（保存数据包含字符时底层使用SDS简单动态字符串）； 3. 为什么String类型会占用更多的空间 底层String类型的数据是怎么保存的： 一个字符型String占用空间 = SDS结构体占用空间 + RedisObject元数据区占用空间 + HashMap的entry结构体
java零基础入门教学,大量教程
神经网络爱好者
01-24 407
如何零基础入门Java后端?如何零基础入门Java后端?从1995年Java语言诞生至今,中间各种其他编程语言各领风骚,但Java一直坚挺到了现在,不仅没有被淘汰反而用的人越来越多。为什么说Java是万金油呢?Java是一门面向对象编程的语言,它不仅仅是吸收了C++语言的优点,还去除掉了C++里难以理解的多继承和。 Java培训:零基础如何进阶?教学,可以及时解决你不懂的问题,另外周围有很多和你一起学习的同学,大家都在学习的氛围中,会无形之中带动你的学习热情,促进有效学习。什么是Java?如何学习分阶
Redis中的数据类型hash
lianggx3的博客
05-13 803
Redis中的string 把string作为储存的对象，，除了记录实际数据，String 类型还需要额外的内存空间记录数据长度、空间使用等信息，这些信息也叫作元数据。 当你保存 64 位有符号整数时，String 类型会把它保存为一个 8 字节的 Long 类型整数，这种保存方式通常也叫作 int 编码方式。但是当保存的数据中包含字符的时候，，String类型就会用简单动态字符串（Simple Dynamic String，SDS）结构来保存，包括： buf：字节...
在 C# 中使用云服务提供商的 Redis 服务和自己安装 Redis 服务各有什么优缺点？
最新发布
10-26
### 使用云服务提供商的 Redis 服务 #### 优点 - **易于部署**：无需进行复杂的服务器配置和软件安装过程，只需在云平台上创建 Redis 实例，即可快速获取连接信息并开始使用。 - **高可用性**：云服务提供商通常提供高可用性保证，具备自动故障转移、数据备份等功能，能有效减少因硬件故障、网络问题等导致的服务中断时间。 - **可扩展性**：可以根据业务需求灵活调整 Redis 实例的规格和性能，如增加内存、带宽等，无需担心硬件资源的限制。 - **专业维护**：由云服务提供商负责 Redis 服务的日常维护、监控、安全防护等工作，可节省大量的运维成本和精力。 - **安全保障**：云服务提供商提供了多种安全防护措施，如网络隔离、访问控制、数据加密等，能有效保障 Redis 服务的安全性。 #### 缺点 - **成本较高**：使用云服务需要按照使用量付费，长期使用可能会产生较高的费用，尤其是在业务规模较大时。 - **数据控制权有限**：数据存储在云服务提供商的服务器上，可能会受到云服务提供商的政策、法规等限制，对数据的控制权相对较弱。 - **网络依赖**：需要通过网络连接到云服务提供商的 Redis 服务，网络延迟和稳定性可能会影响服务的性能。 ### 自己安装 Redis 服务 #### 优点 - **成本较低**：只需购买服务器硬件或使用虚拟机，一次性投入成本相对较低，适合预算有限的小型项目或个人开发者。 - **数据控制权高**：数据完全存储在自己的服务器上，可以根据需要进行灵活的管理和控制，满足特定的安全和合规要求。 - **定制性强**：可以根据业务需求对 Redis 服务进行定制化配置，如调整参数、优化性能等，以满足特定的业务场景。 #### 缺点 - **部署和维护复杂**：需要自行完成服务器的配置、Redis 软件的安装和配置、日常维护、监控等工作，对技术人员的要求较高，且需要投入大量的时间和精力。 - **高可用性和扩展性较差**：需要自行实现高可用性和扩展性方案，如搭建集群、进行数据备份等，技术难度较大，且成本较高。 - **安全风险**：需要自行负责服务器和 Redis 服务的安全防护，如网络隔离、访问控制、数据加密等，安全风险相对较高。 ### 示例代码 以下是使用 StackExchange.Redis 连接到云服务提供商的 Redis 服务和自己安装的 Redis 服务的示例代码： #### 连接到云服务提供商的 Redis 服务 ```csharp using StackExchange.Redis; // 连接到云服务提供商的 Redis 服务 ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("your-cloud-redis-server:6379,password=your-password"); IDatabase db = redis.GetDatabase(); // 设置键值对 db.StringSet("key", "value"); // 获取键值对 string value = db.StringGet("key"); ``` #### 连接到自己安装的 Redis 服务 ```csharp using StackExchange.Redis; // 连接到自己安装的 Redis 服务 ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("localhost:6379"); IDatabase db = redis.GetDatabase(); // 设置键值对 db.StringSet("key", "value"); // 获取键值对 string value = db.StringGet("key"); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

韩淼燃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值