使用redis碰到maxmemory

使用redis碰到maxmemory

最近碰到一个问题,在测试环境高并发调用生产数据,等到数据清理的定时任务完成时,仍然发现大量的数据未被清理,占用较大内存空间。
因为我的key之间会有关联关系,分析残留的数据,发现数据的关联关系并不完整,不完整的数据不能被寻址所以最终残留下来了。
查看redis内存信息:

> info memory
# Memory
maxmemory:14000000000
...
used_memory_peak_human:13.04G

刚开始没注意,后来发现maxmemory的单位是byte,按照1024换算是13.038G,而下面的used_memory_peak_human:13.04G表示内存已经达到过峰值,峰值就是maxmemory!

经过多番资料查找,参考:https://blog.youkuaiyun.com/codetomylaw/article/details/50017633,我环境的redis配置就是allkeys-random。

> config get maxmemory-policy
1) "maxmemory-policy"
2) "allkeys-random"

所以,罪魁祸首就是redis在达到上限后随机删除了部分key,导致数据链不完整。
解决办法:根据redis maxmemory和单位数据的大小计算可容纳的数据个数,在redis达到峰值前做好保护,主动清理最老的数据。

### 设置 Redis 的 `maxmemory` 参数 Redis 允许通过 `maxmemory` 参数限制其使用的最大内存,以防止 Redis 占用过多系统资源并影响其他进程的正常运行。在默认情况下,Redis 会尽可能多地使用可用内存来缓存数据[^1]。然而,为了防止极端情况下系统内存耗尽,建议为所有 Redis 实例配置 `maxmemory`。 #### 配置方式 ##### 1. 临时设置(重启后失效) 可以通过 `redis-cli` 命令行工具动态修改 `maxmemory` 和 `maxmemory-policy` 参数,而无需重启 Redis 服务。 ```bash # 连接到 Redis 实例 redis-cli # 设置最大内存为 2GB 127.0.0.1:6379> CONFIG SET maxmemory 2gb # 设置内存不足时的淘汰策略为 allkeys-lru 127.0.0.1:6379> CONFIG SET maxmemory-policy allkeys-lru ``` 上述设置在 Redis 重启后将失效,因此适用于临时测试或调试环境[^2]。 ##### 2. 永久设置(修改配置文件) 要使配置在重启后仍然有效,需要编辑 Redis 的配置文件 `redis.conf`,并添加或修改以下参数: ```conf # 设置最大内存为 2GB maxmemory 2gb # 设置淘汰策略为 allkeys-lru maxmemory-policy allkeys-lru ``` 保存配置文件后重启 Redis 服务即可生效。 ##### 3. 集群环境中的配置 在 Redis 集群环境中,每个节点需要单独配置 `maxmemory`。可以通过 `CLUSTER NODES` 命令获取所有节点信息,并分别连接到每个节点进行配置: ```bash # 获取集群节点信息 redis-cli -c CLUSTER NODES # 连接到第一个节点 redis-cli -h 127.0.0.1 -p 7001 # 设置最大内存和淘汰策略 127.0.0.1:7001> CONFIG SET maxmemory 2gb 127.0.0.1:7001> CONFIG SET maxmemory-policy allkeys-lru ``` 同样,为了永久生效,需在每个节点的 `redis.conf` 文件中更新配置并重启服务[^2]。 #### 淘汰策略选择 Redis 提供多种淘汰策略来处理内存不足的情况,包括: - `noeviction`:拒绝写入新数据,只读模式。 - `allkeys-lru`:从所有 key 中使用 LRU 算法移除。 - `volatile-lru`:仅从设置了过期时间的 key 中使用 LRU。 - `allkeys-random`:随机删除任意 key。 - `volatile-random`:从设置了过期时间的 key 中随机删除。 - `volatile-ttl`:优先删除更早过期的 key。 选择合适的淘汰策略应根据实际业务需求和数据特性来决定[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值