SDS空间分配策略

最新推荐文章于 2024-10-14 07:00:00 发布
最新推荐文章于 2024-10-14 07:00:00 发布
阅读量552 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： python
原文链接：https://my.oschina.net/u/2462104/blog/1456841
本文介绍了SDS（Simple Dynamic Strings）中使用的空间预分配策略：对于小于1M的空间，分配为原有长度加相同长度再加1字节；对于大于1M的空间，则分配原有长度加1MB再加1字节。此外还介绍了惰性空间释放机制，通过保留已释放空间而不是立即回收，以提高后续扩展效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1.SDS空间预分配策略

对于空间小于1M来说,分配空间为原有总长度+同样长度+1byte(B,字节).

比如原长度为8的字符串,新增5个长度后,总共为13长度,则预分配13+13+1=27字节(额外一字节用于保存空字符串)

对于大于1M来说,分配空间为原有总长度+1MB+1byte

比如增加完字符串后长度为15MB,则为15MB+1MB+1byte

2.惰性空间释放

对于需要缩短字符串的情景,即需要释放空间,SDS将需要移除的字符串移除,但是多余出来的的空间不释放,而是保留下来,记录在free里,这样扩展就有多余空间来进行,当然有真正释放空间的方法.

比如"XYXYabcXY\0" 移除所有的X和Y

则len变为3 free变为6

转载于:https://my.oschina.net/u/2462104/blog/1456841

说说redis中简单动态字符串（SDS）的空间预分配实现
我的博客
01-12 1369
文章目录目的一、简单动态字符串（SDS）1.1 定义1.1 优点二、空间预分配2.1 原则2.2 java代码实现三 、小结 目的 编写本文章的目的是为了理解Redis底层实现的重要数据结构：简单动态字符串，并实际动手通过java代码实现简单动态字符串的空间预分配机制，让我们更加生动地理解底层技术。 一、简单动态字符串（SDS） 1.1 定义 简单动态字符串是Redis底层结构中非常关键的一类数据结构，定义如下： struct sdshdr { // 字符串数组 char[] buf
Redis底层数据结构之SDS
xiong_tai的博客
04-21 1292
Redis 中的 SDS（Simple Dynamic String，简单动态字符串）是 Redis 用于存储字符串值的底层实现，是对 C 语言传统字符串（以 null 结尾的字符数组）的改良，内部结构类似于 C 语言的字符数组，但额外存储了字符串长度和分配空间大小，避免了 C 字符串的缺陷。SDS用于解决 C 字符串的一些限制和安全性问题, 具有动态扩容的特点. 其实现位于src/sds.h与src/sds.c中。
java基础知识（String 用法）
qq_34665521的博客
09-14 522
java基础知识153、String1 基础2 常见方法 153、String 1 基础 1，字符串是一个特殊对象 2，字符串一旦被初始化，就不可以被改变 3， String str = "string";//常用，str是一个类 类型对象，“string”是一个对象 str = "abc"; //str 的地址变化了，但是“string”的内容没有变 4, String str = new String("string"); //有，不多见 5， string s1 = "abc"; String s
sds(简单动态字符串) 内存预分配优化策略
weixin_30825581的博客
04-21 501
在眼下版本号的 Redis 中，SDS_MAX_PREALLOC的值为1024*1024， 也就是说。 当大小小于1MB的字符串运行追加操作时，sdsMakeRoomFor就为它们分配多于所需大小一倍的空间； 当字符串的大小大于1MB。 那么sdsMakeRoomFor就为它们额外多分配1MB的空间。 运行过APPEND命令的...
redis源码之sds扩容
欢谷悠扬
05-06 1457
redis之sds扩容处理
redis源码阅读—SDS空间预分配策略和惰性删除策略
L__xing的博客
12-10 1467
备注：文中redis源码版本为redis3.0 该段摘自于《redis设计与实现》 空间预分配用于优化 SDS 的字符串增长操作： 当 SDS 的 API 对一个 SDS 进行修改， 并且需要对 SDS 进行空间扩展的时候， 程序不仅会为 SDS 分配修改所必须要的空间， 还会为 SDS 分配额外的未使用空间。 其中， 额外分配的未使用空间数量由以下公式决定： 如果对 SDS 进行修改之后， SDS 的长度（也即是len属性的值）将小于1MB， 那么程序分配和len属性同样大小的未使用...
redis sds空间预分配
07-27
SDS的空间分配策略可以杜绝缓冲区溢出的可能性。在执行修改操作之前，API会先检查SDS的空间是否满足修改所需的需求，如果不满足，则会自动将SDS的空间扩展至所需的大小，然后再执行实际的修改操作，并同时分配未使用...
详解redis数据结构之sds
09-09
在内存管理方面，sds采用了空间预分配和惰性空间释放策略。空间预分配意味着当sds需要扩展时，它会预留超出当前需求的额外空间，以减少未来修改字符串时频繁的内存分配。例如，当需要添加一定长度的字符串时，如果新...
位示图管理磁盘空间分配与回收的原理及应用
随着时间的推移，磁盘上的文件不断创建、修改和删除，可能导致空间分配的碎片化。碎片整理是一种优化磁盘空间利用的技术，它重新组织文件碎片，使空闲空间变得连续。然而，基于位示图的文件系统通常碎片化程度较低...
Redis中简单动态字符串SDS详解
iiiiilllllll的博客
02-26 386
什么时候会触发?SDS的API修改SDS的时候,并且需要对SDS进行扩容那什么时候SDS会进行扩容?SDS的free空间不够时那在扩展的时候会做些什么?除了分配修改所需要的空间,还会为SDS分配额外的未使用的空间会分配多大的额外未使用的空间呢?要分为两种情况,有效长度小于1MB和大于1MB小于1MB呢?新字符串的有效长度小于1MB,额外空间和新字符串的有效长度一样,比如新的有效长度为13,那么SDS的实际长度为len+free+1=13+13+1=27字节。
Redis 简单动态字符串（SDS）
qq_47892703的博客
11-09 415
SDS 遵循 C 字符串以空字符结尾的惯例，保存空字符的 1 字节空间不计算在 SDS 的 len 属性里面（额外分配）。 添加空字符到字符串结尾的操作由 SDS 函数自动完成，对于使用者来说完全透明。 设置和更新 SDS 长度的工作由 SDS 的 API 在执行时自动完成，所以无需手动进行任何手动修改长度的工作。 一、SDS 的空间分配策略 当 API 需要对 SDS 进行修改时，API 会先检查 SDS 的空间是否满足需求，如果不够，API 会自动将SDS 的空间扩展，然后执行修改操作
Redis设计与实现（第一部分 第二章 简单动态字符串）
weixin_45275107的博客
05-25 186
1、简单动态字符串 ​ redis是用C语言写的，而redis语言没有直接使用C语言的字符串（以\0结尾的的字符数组），而是自己构建一种名为SDS（简称）的抽象类型。 ​ 在redis内如果仅仅需要字符串字面量，无需对字符串进行修改的时候，redis会使用C字符串进行表示（打印日志），当不仅仅需要字面量，redis会用SDS进行表示。 例： redis> SET msg "Hello World!" 以上例子实际保存着msg与Hello World!的两个SDS。 1.1 SDS的定义 每个sds.
Redis之SDS
sssxlxwbwz的博客
02-22 1040
1、概述 Redis没有直接使用C语言传统的字符串表示（以空字符结尾的字符数组，以下简称C字符串），而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型，并将SDS用作Redis的默认字符串表示。 当Redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，Redis就会使用SDS来表示字符串值。 2、SDS结构 struct sdshdr { // 记录buf数组中已使用字节的数量 /...
【Redis】字符串原理--简单动态字符串SDS
上善若水
02-04 966
SDS 与 C字符串 比较
惰性空间分配 lazy space allocation
zhanghaodx082的专栏
09-25 2882
Lazy allocation simply means not allocating a resource until it is actually needed.
了解 Redis 底层的秘密：从 SDS 动态扩展到内存优化
最新发布
DC1020的博客
10-14 927
Redis 中的 string 类型是最基本的数据类型之一，尽管它看似简单，底层的实现却非常巧妙和高效。为了更好地处理不同长度的字符串并优化内存和性能，Redis 使用了多种数据结构和编码方案。这篇文章将详细解析 Redis 中 string 底层的实现机制，重点关注，以及 Redis 针对字符串的不同编码策略。
Redis 底层中的 SDS 以及 对象系统简介
cosmos_lee
06-13 1022
1.SDS 没有使用C语言传统的字符串表示，而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS） 的抽象类型，并将SDS用作Redis的默认字符串表示。在Redis里，包含字符串值得键值对在底层都是由DS来实现的。 SDS还被用作缓冲区（buffer）：AOF模块中的AOF缓冲区，以及客户端状态中的输入缓冲区，都是由SDS实现的。 SDS定义： ...
Redis深入理解-数据结构篇（1）-简单动态字符串SDS
王洋的专栏
10-03 4801
Redis没有直接使用C语言中的字符串，而是自己构建了SDS这样的一种简单动态字符串，并且将他作为Redis中字符串的默认的表示，个人认为，Redis并未完全抛弃C语言字符串，只不过是在C语言字符串的基础上，通过封装其他的属性，构造出一个更加高效的字符串的封装结构，在早些的版本中记录了其长度（实际使用了多少）、剩余空间、以及字符数组，最新的版本3.2.4中，已经对SDS做了一定的改动记录了长度、分配内存大小（除去‘\0’）、标志位（低三位表示类型，其余五位未使用）、以及字符数组。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值