为什么redis的SDS的最大长度限制为512mb?

从Redis 3.2.13到6.2.7版本,字符串最大长度的限制经历了从固定512MB到动态读取配置proto-max-bulk-len的变化。在早期版本中,checkStringLength方法硬编码限制为512MB,而在Redis 6.2.7及后续版本,该限制改为了可配置,允许更大的灵活性。

当客户端操作 client 时,一般不会直接使用 sds ,而是通过对象的方式来使用。比如创建的字符串其实是一个对象,间接使用到了 sds 结构。限制 512M 的逻辑在 t_string.c 的 checkStringLength 方法。

在redis3.2.13、redis4.0.14、redis5.0.9版本里面的的一个方法,checkStringLength里面写死了限制512*1024*1024,这个方法常在 SET/HSET的时候被调用。

static int checkStringLength(client *c, long long size) {
    if (size > 512*1024*1024) {
        addReplyError(c,"string exceeds maximum allowed size (512MB)");
        return C_ERR;
    }
    return C_OK;
}

而在redis6.2.7版本里面,这个长度已经改为读取配置 proto-max-bulk-len的长度了。

static int checkStringLength(client *c, long long size) {
    if (!(c->flags & CLIENT_MASTER) && size > server.proto_max_bulk_len) {
        addReplyError(c,"string exceeds maximum allowed size (proto-max-bulk-len)");
        return C_ERR;
    }
    return C_OK;
}

参考文档:

http://www.shutdown.cn/post/why-redis-sds-max-length-limit-is-512mb/

https://machbbs.com/v2ex/502001

https://github.com/redis/redis/pull/4633

https://machbbs.com/v2ex/502001

https://github.com/redis/redis/issues/7354

Redis 将字符串设计为 **SDS(Simple Dynamic String)** 而不是直接使用 C 语言的原生字符串(`char*`),主要是为了解决原生字符串的局限性,并优化性能、安全性和功能扩展性。以下是 SDS 的核心设计原因和优势: --- ### **1. 解决 C 字符串的固有缺陷** C 语言的字符串以 `\0` 结尾,**无法直接存储二进制数据**(如包含 `\0` 的图片、序列化对象等),且长度计算需遍历整个字符串(`strlen` 是 O(n) 操作)。 **SDS 的改进**: - **独立存储长度**:SDS 结构中包含 `len` 字段,记录字符串的字节长度,**O(1) 时间获取长度**。 - **支持二进制安全**:SDS 不依赖 `\0` 结尾,可以存储任意二进制数据(包括 `\0`)。 ```c // SDS 结构示例(Redis 5.0+) struct sdshdr { uint8_t len; // 已用长度 uint8_t alloc; // 分配的总空间(不含头和null终止符) char buf[]; // 实际字符串数据(可能包含\0) }; ``` --- ### **2. 动态扩容与内存优化** C 字符串每次修改(如拼接)可能需要重新分配内存并复制数据,效率低下。 **SDS 的改进**: - **惰性空间分配**:SDS 扩容时遵循**空间预分配策略**(如增长后 `alloc` 大于 `len`),减少频繁内存分配。 - 例如:`sdsMakeRoomFor` 会预分配额外空间(如 `len < 1MB` 时翻倍,否则多分配 1MB)。 - **避免内存泄漏**:SDS 的内存管理由 Redis 统一处理,与对象系统集成。 --- ### **3. 减少内存重分配次数** C 字符串在修改时(如缩短)不会自动释放内存,可能导致内存浪费。 **SDS 的改进**: - **惰性释放**:缩短字符串时,SDS 不会立即释放内存,而是通过 `alloc` 字段记录剩余空间,供后续操作复用。 - **安全释放**:通过 `sdsfree` 统一释放内存,避免手动管理错误。 --- ### **4. 兼容 C 字符串函数** SDS 仍以 `\0` 结尾(`buf[len] = '\0'`),**兼容 C 字符串函数**(如 `printf`、`strcpy`),无需额外转换。 **优势**: - 可以直接将 SDS 传递给需要 `char*` 的库函数(如文件操作、网络传输)。 - 避免在 C 生态中频繁转换数据格式。 --- ### **5. 丰富的字符串操作 API** RedisSDS 提供了高效的 API,覆盖常见操作: - **拼接**:`sdscat`、`sdscatsds`(O(n) 时间,但通过预分配优化)。 - **截取**:`sdsrange`(支持范围操作)。 - **复制/比较**:`sdsdup`、`sdscmp`。 - **编码转换**:如 `sdsEncodeLength` 处理长度字段。 **示例**: ```c sds str = sdsnew("Hello"); str = sdscat(str, " Redis!"); // 拼接字符串 printf("%s\n", str); // 输出: "Hello Redis!" sdsfree(str); // 释放内存 ``` --- ### **6. 与 Redis 对象系统集成** Redis 的所有数据类型(如 String、Hash、List)底层都依赖 SDS 或类似结构: - **统一管理**:SDS 的内存分配/释放由 Redis 的 `zmalloc` 统一处理,便于追踪内存使用。 - **编码优化**:Redis 根据字符串长度选择不同的存储编码(如 `EMBSTR` 或 `RAW`),SDS 的 `len` 和 `alloc` 字段支持这种优化。 --- ### **7. 性能对比示例** | **操作** | **C 字符串** | **SDS** | |------------------------|---------------------------------------|----------------------------------| | 获取长度 | `strlen(str)`(O(n)) | `sdslen(str)`(O(1)) | | 拼接字符串 | 可能多次重分配内存 | 预分配空间,减少重分配次数 | | 存储二进制数据 | 不可行(依赖 `\0`) | 支持任意二进制数据 | | 内存释放 | 需手动管理 | 通过 `sdsfree` 统一释放 | --- ### **总结:为什么 Redis 选择 SDS?** 1. **二进制安全**:支持任意数据(包括 `\0`)。 2. **高效操作**:O(1) 时间获取长度,预分配减少内存重分配。 3. **兼容性**:保留 `\0` 结尾,兼容 C 生态。 4. **内存管理**:与 Redis 对象系统集成,避免泄漏。 5. **功能丰富**:提供安全的字符串操作 API。 SDS 的设计使 Redis 在处理字符串时既能保持高性能,又能避免 C 原生字符串的诸多问题,是 Redis 高性能的关键基础组件之一。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值