Redis底层数据结构——SDS

已于 2024-11-15 21:14:06 修改
阅读量1.3k 收藏 24
点赞数 21
分类专栏： Redis 文章标签： redis 数据结构 数据库
于 2024-11-15 20:59:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41637232/article/details/143798097
版权

redis底层数据结构

文章目录

一、SDS是什么？

SDS，即Simple Dynamic String，简单动态字符串，是redis为了克服C语言原生字符串的弊端所设计的一种新的数据结构。

二、什么要用SDS？

C语言字符串存在的问题：

  1. 获取字符串长度需要通过运算，时间复杂度O(N)。
  2. 非二进制安全。某二进制字符串里面可能也存在’\0’，会导致读取提前结束。
  3. 不可修改。char *str = “hello”，这是一个字面量，存放在常量区。

SDS的优势：

  1. 获取字符串长度的时间复杂度为O(1)，因为sds的len记录了sds中数据的长度。
  2. 支持动态扩容。
  3. 减少了内存分配次数——内存预分配。
  4. 二进制安全，因为sds不是以’\0’为字符串结束标志，而是通过len来判断结束。

三、SDS数据结构

1. sds header

// sds.h
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */ /*  */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */ /* */
    char buf[]; /* 真实的数据 */
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

redis根据所存储的数据类型，将sds划分为四种，分别为sdshdr8、sdshdr16、sdshdr32、sdshdr64。虽然64位类型下最大字符串长度为2^63-1，但redis依然限制了字符串最大长度为512MB。通过命令config get proto-max-bulk-len可以查询到值为536870912。

在每一种sdshdr里，都包含len、alloc、flags和buf，其中len + alloc + flags被称为header。

  • len：buf中已保存的字符串字节数，不包含结束标识。
  • alloc：buf申请的总的字节数，不包含header和结束标识。alloc分配的内存会超过buf的长度
  • flags：不同的sds的头类型，用来控制sds的头大小。
  • buf：字符数组，存放真实数据。

根据以上代码可知四种sds的header大小分别为：

  • sdshdr8：1 + 1 + 1 = 3byte
  • sdshdr16：2 + 2 +1 = 5byte
  • sdshdr32：4 + 4 + 1 = 9byte
  • sdshdr64：8 + 8 + 1 = 17byte

__attribute__((__packed__))：是 GCC/Clang 编译器的一个扩展，它的作用是告诉编译器对结构体进行紧凑对齐，即禁止对齐填充。默认情况下，编译器可能会在结构体字段之间插入填充字节，以使字段按照一定的内存对齐规则排列（例如，某些数据类型需要 4 字节对齐）。使用 __packed__ 属性后，结构体的成员将紧密排列在内存中，不会有额外的填充字节。

flags的值为四个宏定义：

#define SDS_TYPE_8  1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4

2. sds与sdshdr的转化

sds的定义：

typedef char *sds;

sds本质是一个字符数组。但sds.c源码中操作的都是sds，并不是sdshdr。为了将其转化成指定的sdshdr，redis使用了如下的宏定义：

#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));
#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T))))

具体解释（以SDS_HDR_VAR为例）：

  • SDS_HDR_VAR(T,s)：声明一个宏，接受两个参数T和s。T代表sdshdr类型，s代表sds指针。
  • struct sdshdr##T *sh：通过 ## 操作符拼接出一个新的结构体类型。例如，T为8时，sh就是sdshdr8。
  • (void*)((s)-(sizeof(struct sdshdr##T)))：
    • void*：强制类型转换。
    • (s)：传递给宏的 sds 类型指针，它指向字符串的实际数据部分，也就是sdshdr中的buf。
    • sizeof(struct sdshdr##T)：sdshdr的大小。
    • (s)-(sizeof(struct sdshdr##T))：用指向的buf的地址 减去 sdshdr占用的字节数，可以将指针移到sdshdr结构体的开头。

用图来解释：
sdshdr内存图
在sdshdr结构体内存布局中，上面的内存地址小，下面的内存地址大，用s的地址 - 上面header的大小就能得到sdshdr的地址。
由于buf是个灵活数组，因此sizeof(sdshdr)并不会计算buf的内存大小。

灵活数组：Flexible Array Member，简称 FAM，是指在结构体中声明的没有固定大小的数组。它通常是结构体的最后一个成员，并且没有大小（[]），它允许结构体的大小在运行时根据实际需要动态分配更多的内存空间

注意：s[-1]获取到的是flag。

3. 内存预分配

当redis给sds追加一段字符串时，首先会申请新的内存空间：

  1. 如果添加字符串后的新字符串小于1M，则新空间为扩展后字符串长度的两倍；
  2. 如果添加字符串后的新字符串大于1M，则新空间为扩展后字符串长度+1M。

源码如下：

// sds.c
sds _sdsMakeRoomFor(sds s, size_t addlen, int greedy) {
    void *sh, *newsh; //sh：旧的sdshdr头指针，newsh：新的sdshdr头指针
    size_t avail = sdsavail(s); //获取字符串当前可用的空间。
    size_t len, newlen, reqlen; //len是当前字符串的长度，newlen是当前字符串长度加上要增加的长度addlen，reqlen是字符串扩展后所需的总长度
    char type, oldtype = s[-1] & SDS_TYPE_MASK; //type是新字符串的类型，oldtype是旧字符串的类型。SDS_TYPE_MASK是7
    int hdrlen; //sdshdr的长度
    size_t usable;

    /* Return ASAP if there is enough space left. */
    if (avail >= addlen) return s; //如果剩余空间足够容纳要添加的字符串大小，直接返回字符串s，无需扩容

    len = sdslen(s); // 获取sds的长度，也就是sdshdr中buf的大小
    sh = (char*)s-sdsHdrSize(oldtype); //将指针移动到sdshdr头部，原理跟第2节讲的一样
    reqlen = newlen = (len+addlen); //新字符串所需的空间
    assert(newlen > len);   /* Catch size_t overflow */
    if (greedy == 1) {
        if (newlen < SDS_MAX_PREALLOC) //如果新字符串的长度 没超过 sds预分配的最大空间1M
            newlen *= 2;//将当前新字符串长度扩大一倍
        else
            newlen += SDS_MAX_PREALLOC;//如果新字符串的长度 超过 1M，则将其大小 +1M
    }

    type = sdsReqType(newlen); //获取扩容后的sdshdr类型

    /* Don't use type 5: the user is appending to the string and type 5 is
     * not able to remember empty space, so sdsMakeRoomFor() must be called
     * at every appending operation. */
    if (type == SDS_TYPE_5) type = SDS_TYPE_8;

    hdrlen = sdsHdrSize(type); //扩容后的sdshdr结构体大小
    assert(hdrlen + newlen + 1 > reqlen);  /* Catch size_t overflow */
    if (oldtype==type) { //如果扩容前后sdshdr的类型相同，给sdshdr头部所指的区域分配内存
        newsh = s_realloc_usable(sh, hdrlen+newlen+1, &usable);
        if (newsh == NULL) return NULL;
        s = (char*)newsh+hdrlen; //指向新的sdshdr中的buf位置
    } else {
        /* Since the header size changes, need to move the string forward,
         * and can't use realloc */
		/* 因为sdshdr类型发生了变化，无法直接使用realloc，因此需要重新分配内存，s_malloc_usable，
		 * 然后将原来的字符串内容拷贝到新分配的内存中*/
        newsh = s_malloc_usable(hdrlen+newlen+1, &usable);//由于len都不包含buf的结束字符，因此需要+1，将其算进去
        if (newsh == NULL) return NULL;
        memcpy((char*)newsh+hdrlen, s, len+1);//将s中len+1大小的内容拷贝到新内存区域
        s_free(sh);//释放掉旧sdshdr中buf所在的内存
        s = (char*)newsh+hdrlen;//指向新的sdshdr中的buf位置
        s[-1] = type;//设置新类型
        sdssetlen(s, len);//设置新长度，注意，这个函数的功能只是分配内存，并没有将新添加的字符串放进去，因此这里的长度还是len
    }
    usable = usable-hdrlen-1; //usable是可用内存的大小。如果分配的内存空间超过了类型的最大大小（sdsTypeMaxSize(type)），则将 usable 设置为最大可用大小。此处减去sdshdr和buf结尾字符串的内存，剩余的就是给buf分配的内存大小。
    if (usable > sdsTypeMaxSize(type))
        usable = sdsTypeMaxSize(type);
    sdssetalloc(s, usable); //给新sds设置分配的内存大小
    return s;
}

四、 一些函数和宏定义（后续再补充）

1. 宏定义

#define SDS_TYPE_MASK 7 //sdshdr类型掩码，
#define SDS_TYPE_BITS 3 //sdshdr类型位数因为sdshdr只有4种类型，用3个bit位即可表示
#define SDS_MAX_PREALLOC (1024*1024) //sds字符串最大预分配空间，1MB
#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T)))) //根据给定的 buf 指针（s）和类型（T），返回指向整个 sdshdr 结构体头部的指针

2. sdslen

// sds.h
static inline size_t sdslen(const sds s) {
    unsigned char flags = s[-1];
    switch(flags&SDS_TYPE_MASK) {
        case SDS_TYPE_5:
            return SDS_TYPE_5_LEN(flags);
        case SDS_TYPE_8:
            return SDS_HDR(8,s)->len;
        case SDS_TYPE_16:
            return SDS_HDR(16,s)->len;
        case SDS_TYPE_32:
            return SDS_HDR(32,s)->len;
        case SDS_TYPE_64:
            return SDS_HDR(64,s)->len;
    }
    return 0;
}

作用：根据传入的sds，获取到sdshdr指针，然后返回sdshdr的长度。

3. sdsHdrSize

// sds.c
static inline int sdsHdrSize(char type) {
    switch(type&SDS_TYPE_MASK) {
        case SDS_TYPE_5:
            return sizeof(struct sdshdr5);
        case SDS_TYPE_8:
            return sizeof(struct sdshdr8);
        case SDS_TYPE_16:
            return sizeof(struct sdshdr16);
        case SDS_TYPE_32:
            return sizeof(struct sdshdr32);
        case SDS_TYPE_64:
            return sizeof(struct sdshdr64);
    }
    return 0;
}

作用：根据传入的type，返回对应的sdshdr的内存占用大小。这里的type就是sdshdr中的flag。

4. sdsReqType

// sds.c
static inline char sdsReqType(size_t string_size) {
    if (string_size < 1<<5)
        return SDS_TYPE_5;
    if (string_size < 1<<8)
        return SDS_TYPE_8;
    if (string_size < 1<<16)
        return SDS_TYPE_16;
#if (LONG_MAX == LLONG_MAX)
    if (string_size < 1ll<<32)
        return SDS_TYPE_32;
    return SDS_TYPE_64;
#else
    return SDS_TYPE_32;
#endif
}

作用：根据传入的字符串大小，返回sdshdr的类型。

5. sdssetlen

// sds.h
static inline void sdssetlen(sds s, size_t newlen) {
    unsigned char flags = s[-1];
    switch(flags&SDS_TYPE_MASK) {
        case SDS_TYPE_5:
            {
                unsigned char *fp = ((unsigned char*)s)-1;
                *fp = SDS_TYPE_5 | (newlen << SDS_TYPE_BITS);
            }
            break;
        case SDS_TYPE_8:
            SDS_HDR(8,s)->len = newlen;
            break;
        case SDS_TYPE_16:
            SDS_HDR(16,s)->len = newlen;
            break;
        case SDS_TYPE_32:
            SDS_HDR(32,s)->len = newlen;
            break;
        case SDS_TYPE_64:
            SDS_HDR(64,s)->len = newlen;
            break;
    }
}

作用：给sds设置新的长度

【redis】sds数据结构
LIncoLN的博客
12-05 1436
本文从源码介绍sds的数据结构。 sds是redis中对传统字符串的封装，在其上加入了长度等信息。用于redis中key等字符串类型数据的存储。 1 sds的数据结构 typedef char *sds; /* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here t...
Redis数据结构——SDS
beyond_czx的博客
07-30 377
Redis支持五种数据类型，分别是字符串、列表、哈希表、集合、有序集合。其中字符串的实现结构是SDS。SDS结果源码如下图。 在C语言中，字符串的底层结构是一个字节数组，而SDS结构有一个字节数组，还有一个len属性，记录字符串的长度；还有一个free属性，代表字符串的未使用空间。 SDS与C语言的字符串相比有什么好处？ 1、获取长度为时间复杂度为O(1) C字符串获取长度时，需要从头遍历字节数组，时间复杂度为O(N)；SDS获取长度时，只需要返回len的值即可，...
Redis系列 - Redis底层数据结构(简单动态字符串(SDS)、链表、字典、跳跃表、整数集合、压缩列表)
u011485472的博客
11-04 1581
Redis系列 - Redis基本数据类型
Redis 底层数据结构 —— SDS（简单动态字符串）
最新发布
m0_62909831的博客
02-27 1451
sds结构详解
Redis数据结构之——sds
weixin_46935110的博客
11-15 5508
Redis数据结构之——sds
（一）Redis数据结构之SDS
Q蛋黄酱的专栏
07-03 1376
1 前言 在开始学习Redis时，除了知道Redis的用处之外，对于Redis的底层数据结构进行深入了解，显得尤为重要。 如果不了解底层数据结构，也将错失体验Redis高性能的美妙之处。 2 什么是SDS SDS即简单动态字符串（Simple Dynamic String），是redis自定义的，用于存储字符串的数据结构。这里需要补充说明，C中的字符串只是以字...
Redis中的SDS
legendaryhaha的博客
02-20 708
SDS简单动态字符串结构 redis操作数据为什么会快？在回答这个问题时，我们一般会说redis对数据的操作是基于缓存的，速度自然而然的快。二来redis在数据操作时通过单线程模型避免了线程切换产生的开销。除此之外，redis采用的合理的数据结构也是redis操作数据快的原因之一。 简单动态字符串 Redis支持字符串类型的操作，其底层实现却不是采用C语言表示字符串的方式，而是采用SDS（simple dynamic string，简单动态字符串） 抽象类型进行表示。 结构 在redis5.0的sds.
redis底层数据结构——跳跃表
SO_zxn的博客
02-09 578
redis底层数据结构——跳跃表 redis——跳跃表
Redis底层数据结构
javaJasonjava的博客
08-26 1153
跳跃表(skiplist）是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。它的效率和红黑树以及 AVL 树不相上下，但实现起来比较容易。是一种可以于平衡树媲美的层次化链表结构——查找、删除、添加等操作都可以在对数期望时间下完成。跳跃表支持平均O (LogN)、最坏O(N) 复杂度的节点查找，还可以通过顺序性操作来批量处理节点。在大部分情况下，跳跃表的效率可以和平衡树相媲美，并且因为跳跃表的实现比平衡树要来得更为简单，所以有不少程序都使用跳跃表来代替平衡树。
redis底层数据结构用sds，请展示一下sds数据结构
08-31
- *1* *2* *3* [Redis底层数据结构——SDS](https://blog.youkuaiyun.com/weixin_39939725/article/details/110912176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
redis底层数据结构——简单动态字符串
SO_zxn的博客
02-09 1097
redis简单动态字符串 redis SDS
Redis之SDS
sssxlxwbwz的博客
02-22 1031
1、概述 Redis没有直接使用C语言传统的字符串表示（以空字符结尾的字符数组，以下简称C字符串），而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型，并将SDS用作Redis的默认字符串表示。 当Redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，Redis就会使用SDS来表示字符串值。 2、SDS结构 struct sdshdr { // 记录buf数组中已使用字节的数量 /...
11- Redis 中的 SDS 数据结构
YoungSoulwt的博客
05-31 1509
Redis 中的 SDS 数据结构
Redis中的SDS结构
weixin_43481589的博客
12-27 494
Redis中的SDS结构 如下为sds的数据结构，使用len存储字符长度，使得strlen命令时间复杂度为O（1）；对SDS字符串进行修改时，会先进行剩余空间是否足够进行相关修改操作的判断，若不足则进行扩容，杜绝缓冲区溢出； struct sdshdr{ int len;//存储字符的长度 int free;//剩余空间长度 char buf[];//内容存储的字符串 } 为减少内存重分配次数，内部使用了空间与分配、惰性空间释放的方法 ...
Redis中的SDS详解
weixin_60274825的博客
02-12 6791
面试杀手锏：Redis源码之SDS 又是当小偷的一天... ...
redis 中的sds
jason的笔记
02-02 777
redis中使用sds来表示一个字符串，同时兼用c语言中的字符串，c语言中的字符串在redis中一般用作字符常量 其实现在E:\redis-3.0-annotated-unstable\redis-3.0-annotated-unstable\src\sds.h 和sds.c中 sds 的数据结构如下： struct sdshdr { // buf数组中已经占用的长度，这等于字符
Redis之SDS数据结构
四问四不知的博客
08-06 892
简单动态字符串SDS（Simple Dynamic String）
Redis 数据结构——SDS
Hanyinh的博客
07-31 963
前言：本文将介绍 Redis 中字符串的实现方法。​ 一、说明 ​ Redis 是使用 C 语言实现的，但是 Redis 中使用的字符串却不是直接用的 C 语言中字符串的定义，而是自己实现了一个数据结构，叫做 SDS(simple dynamic String)，即简单动态字符串。​ 二、C 语言字符串定义 ​ C 语言的字符串定义，是使用和字符串相等长度的字符数组来存储字符串，并且在后面额外加一个字符来存储空字符 ‘\0’，也就是下图：这种实现方式的优点就是，简单且直观。但是众所周知，Redis 是一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值