浅看Redis内存回收

Redis内存回收 Redis之所以性能强,最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大,会影响持久化或主从同步性能。我们可以通过修改配置文件来设置Redis的最大内存当内存使用达到上限时,就无法存储更多数据了。为了解决这个问题,Redis提供了一些策略实现内存回收:内存过期策略在学习Redis缓存的时候我们说过,可以通过expire命令给Redis的key设置TTL(存活时间) 阅读详情

1、内存回收

1.1过期key回收

首先由2种方式:惰性回收和周期回收

1.11惰性删除

惰性删除是什么意思?也就是在查询时候再去删除。比方说:对于一个键值对,我们设置了ttl过期时间对吧,等到ttl到期了,那么实际上这个键值对还是没有被删除的,直到这个键被查询时,才会判断ttl是否过期,如果过期,那么就在内存里删除这个键值对,返回nil给查询结果。

1.12周期删除

周期删除是什么?字面意思时一定周期就会删除,实际上也确实是这样。

然而周期删除并没有这么简单。周期删除分成2种,有FAST模式和SLOW模式。

1.121SLOW模式和SLOW模式

无论是FAST模式还是SLOW模式,都会查询键值对的ttl,判断是否过期,如果过期就把他删除掉。

这个是怎么查询键值对呢?总不能凭空来查询吧?实际上是有一个定时任务,周期性地抽样删除Key.

SLOW和FAST模式不一样,抽样地周期不一样,另外还有些运作地机制也不一样,

下面来详细介绍FAST模式:

对于SLOW模式,每秒执行10次,这里的10可以使用hz变量来表示。

假如说每秒10次,那么说1s / 10 = 100ms,也就是每次不会超过100ms,然后这100ms里实际上查询删除的耗时也不是完全是100ms,实际上是不大于25ms。也就是说每次执行的间隔不超过100ms。

对于FAST模式,执行的频率不固定,每次2次执行的间隔不超过2ms,实际上执行查询删除的耗时也不会把这2ms利用完,真真利用的不超过1ms.

这里的主要频率都是这样了。

那么细节部分怎么思考?

实际上对于为什么SLOW模式没有利用完100ms,在方法论层次也是有原因的,100ms完全是执行查询删除的操作,那么什么是停下来呢?肯定会有一个过程是停下来的,或者说是执行停下来的操作,而这个停下来的操作也不是可以很快就可以停下来的,于是100ms里的75ms就基本上是去让redis去干其他内容去了。

这里的查询的细节是抽取key很多吗?实际上是还有很多key没搜索到了,只是抽样20个key来判断ttl是否过期。这里就是对于查询的细节。

实际上呢对于这个25ms里的查询,还有一个这样的规则:20个样本查询完毕,而且超此时时间小于25ms,如果要被删除的key如果超过占总key的10%,那么就会继续抽样,反之就会结束。对于FAST模式也一样。

对于FAST模式,过期KEY小于10%,那么就结束。

1.2内存淘汰策略

个人思考:

首先对于为什么会有内存淘汰策略?

我们先说一下为什么过期key的处理为什么有2种,一种是惰性删除,一种是周期删除?因为如果只使用惰性删除,那么很多没查询且过期的key就无法被清理,会导致内存不足。于是就会出现周期删除,周期删除就可以将那些很久都没输查询过且ttl过期的key删除掉。

惰性删除可能导致过期key的囤积,导致内存不足。于是周期删除应运而生。但是周期删除也不过是抽样删除对吧?SLOW模式一次抽20个来删除,FAST的执行时间更短,抽样就不知道抽多少来删除了,如果更少的话也许会出现误判没有超过10%的比例,于是就结束删除操作,于是删除的速率就低了,这样子还是有可能会导致极限短时间无法清理大量过期的key,容易内存被过期key占满。于是内存淘汰策略应运而生。

这个是个人的理解,而对于事实上会不会这样,还有待验证。

正式来看看内存淘汰策略:

这里对于上面过期key回收得不及时,导致内存容易被占满,那么内存淘汰策略就有用武之地了。这里内存淘汰为什么会出现呢?出现这个操作的时间一般是什么时候呢?对于上面说的漏洞,也就是key回收不及时,内存即将被占满就很不妙了,那么内存淘汰策略的开始时间就很明显了,也就是党内存达到一个阈值时,内存淘汰模式便会启动。

而内存淘汰策略细分是有8种的,如下:

noeviction、volatile-ttl、allkeys-random、volatile-random、allkeys-lru、volatile-lru、allkeys-lfu、volatile-lfu。

实际上可以说是3类,为什么呢?因为对于noeviction这个实际上是默认不删除,这个可能暂时觉得有点鸡助。

对于random,这个是什么意思?这个是随机抽样,抽到了就删除,感觉可能会把一些比较重要的key也删除了,于是感觉这个策略也弱鸡。

而对于random是由2种策略的,一个是allkey-random一个是volatile-random.这两个策略的区别是随机挑选要删除的key的范围不一样。什么范围不一样?对于redis管理的键值对不是有2类吗?一类设置了ttl,另外一类就是不设置过期时间,于是没过期时间的键值对的ttl等于-1。而allkey就是对于所有key都可以随机抽出来删除。对于volatile-random这个策略,就是对设置了ttl的键值对进行随机删除。

其余剩下的策略就是剩下5种了,实际上这5种可以说成是3类,对于volatile-ttl便是一类(1种),对于lru是一类(2种),lfu是第三类(2种)。

而对于volatile-ttl,这里的作用域应该是很清晰了吧,不就是对于设置了ttl的key进行删除吗?对的是这样的。

对于lru这类淘汰策略是什么呢?先查看一下它的单词意思吧:least recently used

也就是最少最近使用过的删除意思,是删除最小最近时间使用过的key,也就是使用当前时间戳减上一次使用的时间戳,差值越大,那么说明上一次使用的时间戳越小,删除时间戳最大的。这里的最少也就是上次时间戳的使用时间最小。

对于lfu是什么意思呢?转英文看看:least frequently used

也就是使用频率最小的删除掉即可。

lfu这个策略其实还是蛮有趣的,哪里有趣呢?这里不是说删除最小频率使用的吗?那么频率怎么算呢?这里对于统计的对象是频率就很有意思,为什么是统计频率而不是其他值,比如说频数,频数值是无上限的于是不如频率,另外频数也是反应不了每时每刻的频率。于是使用频率作为删除策略的核心实在是太有意思了。

而对于频率的计算也是很有意思的,这个频率最小是0,频率在每个时间段都是不一样的对吧?于是对于最近使用次数较多的key,那么它的频率就增加,而一旦使用得比较少了,这个频率值便会减小。

对于与增加和减小的公式就算了,不用看的这么细,sqlboy直接拿来就用好吧。

Redis_09_Redis内存回收机制 Redis内存回收机制 阅读详情

相关推荐

【Redis的过期数据回收是怎么实现的,你们是怎么设置的】

【Redis的过期数据回收是怎么实现的,你们是怎么设置的】

学无止境 361

Redis 内存消耗及回收

被广泛应用在服务器各种场景中。Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多。所以,监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis 至关重要。在介绍之前先说明下,一般生产环境下,对开发同事不会开放直连 redis 集群的权限,一般是提供 daas 平台,通过可视化命令窗口,输入 redis 命令,一般只有 read 权限;

LinkSLA的博客 985

基于Simulink的IEEE33节点配电网仿真实战:从建模到分布式能源集成

本文详细介绍了基于Simulink的IEEE33节点配电网仿真实战,从基础建模到分布式能源集成。通过MATLAB脚本管理参数、搭建Simulink模块,并集成风机和光伏系统,实现高效配电网仿真。文章还涵盖潮流计算、故障分析及性能优化技巧,为电力系统仿真提供实用指导。

git9versioner的博客 993

Redis内存兜底策略——内存淘汰及回收机制

Redis内存淘汰机制是指在Redis的用于缓存的内存不足时,怎么处理需要新写入且需要申请额外空间的数据Redis提供了八种内存淘汰策略,分别是:noeviction:不会淘汰任何键,达到内存限制后返回错误allkeys-random:在所有键中,随机删除键volatile-random:在设置了过期时间的键中,随机删除键allkeys-lru:通过LRU算法淘汰最近最少使用的键,保留最近使用的键volatile-lru:从设置了过期时间的键中,通过LRU算法淘汰最近最少使用的键。

weixin_71690375的博客 1081

3D Slicer中安装MedSAM插件

大家应该都读过这篇论文:《Segment Anything in Medical Images》这个插件便是该论文团队推出的在3D Slicer上使用的插件,可以分割医学图像的任何感兴趣区域。

m0_73719342的博客 2333

人工智能学习之机器人路径规划优化

A* AStar 人工智能 机器人路径规划优化

RongLin02的博客 7073

Redis 内存回收

Redis采用多层级内存回收机制,包括键过期删除策略(惰性删除+定期删除)、内存淘汰策略(8种maxmemory-policy选项)和jemalloc内存管理。过期键通过访问时检查或定期扫描回收;内存满时根据策略淘汰数据;jemalloc减少碎片,active-defrag主动整理内存。实际应用中需注意大key、集中过期等问题,合理配置策略确保高性能。面试重点考察回收策略、LRU/LFU区别及jemalloc优势等知识点。整体上,Redis通过组合机制实现高效安全的内存管理。

人工智能专业学生 1475

实战:如何通过修改VTS和HTS调整GC4653 sensor帧率(附完整计算步骤)

本文以GC4653图像传感器为例,详细解析了通过修改VTS和HTS寄存器来精确调整输出帧率的完整流程。文章深入剖析了帧率计算公式FPS = PCLK / (VTS × HTS)的核心原理,并提供了从获取寄存器参数、计算目标VTS值到系统验证的实战步骤,帮助工程师掌握独立优化Sensor性能、提升低照度画质的关键技能。

gin88的博客 343

【Redis】内存回收和内存淘汰机制

存储在 Redis 中的基本都是键值对, 而这种键值对存储, 同时可以通过 key 快速查询到对应的 value, 最合适的实现就是 HashTable 了。而实现 HashTable 的底层结构,基本就是一个数组或者链表, 同时为了解决 hash 冲突, 数组或链表的每个节点定义为一个链表。Redis 中对 HashTable 的实现也是如此, 大体如下Redis 中实现的 HastTable 叫做 dictht (Dictionary Hash Table)// 存放节点的数组。

LCN29的博客 1991

【ArcPy】用Python批量处理大规模地理数据的几何校正

在许多GIS应用中,尤其是在大规模地理数据处理时,几何校正(Geometric Correction)是一个至关重要的任务。它确保了不同来源的地理数据能够正确地对齐和匹配,从而为后续分析提供准确的基础。几何校正的常见应用包括遥感影像的地理配准、矢量数据的投影转换等。几何校正通常包括坐标转换、重采样等步骤。以下示例展示了如何使用arcpy的工具进行几何校正。"""实施几何校正:param input_layer: 输入待校正数据层。

陈书予 1008

【ComfyUI】SDXL + 单LoRA 房屋平面图渲染装修

本文介绍了一种基于ComfyUI的室内平面设计图自动生成效果图的工作流。该流程通过导入房屋平面图,结合SDXL室内设计模型与北欧风格LoRA模块,快速生成多房间效果展示。工作流包含图像输入、文本处理、模型加载和图像生成等环节,支持风格化渲染和细节补充,适用于建筑设计、家装展示、房地产营销等场景。核心采用SDXL通用室内设计模型和北欧极简LoRA,通过节点衔接实现自动化批量生成,能在短时间内将平面方案转化为逼真的三维效果图。该技术可提升设计呈现效率,辅助客户决策,并应用于教学研究领域。

Mr数据杨 3665

Redis 内存回收策略

小盒子的技术分享 有关编程、技术类知识的分享及生活感悟 109篇原创内容 ...

m0_38017860的博客 4159

thermal系列(5)-DTSI中配置Thermal

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.youkuaiyun.com/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! 目录thermal系列目录DTSI中配置ThermalDTSI节点类型描述CPU0的配置举例CPU核hot-plugging举例修改热缓解阈值DTSI的node中带有tracks-lowDTSI中关闭某个Thermal Zones thermal系列目录 thermal系列(1)-引言部分 thermal.

fulinux的博客 1232

Redis 篇-深入了解 Redis 中的 RESP 通信协议与内存回收(过期 key 处理、内存淘汰策略)

删除完之后,再判断内存是否充足,如果还是不足,那么会接着循环来删除 key,如果达到充足的内存,则直接退出删除 key 的操作。若选择的删除策略为:TTL、LRU、LFU 这些策略,先创建一个池,用来存放准备删除的 key,在 Redis 数据库中从 0 直到 15 的数据库进行遍历抽样选择要放入池中的 key,默认每次抽样 5 个 key。如果当前内存不充足时,继续判断内存策略是否为默认 noeviction 策略,也就是即使内存满了,也不会执行删除 key 的操作,会发出错误信息。

小扳手 3510

从数据库到数据仓库:数据仓库导论

本文为数据仓库导论,旨在介绍数据仓库的基本理念和应用场景,帮助读者理解数据仓库的重要性及其在企业中的实际应用。

探索大数据世界 - 深入解析数据存储、分布式计算与人工智能 2787

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Redis通信协议、回收内存

介绍了Redis内存回收和redis过期策略

weixin_49429082的博客 1083

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Redis内存碎片自动回收

今天说的是一个老问题了,关于 Redis 内存碎片的回收,以前用过几次,今天再次使用时发现自己没总结,没有可以拿来直接用的命令,花了一些时间去查找和测试,为了以后使用时更方便,我决定把整理一下放在这,等待再次相遇...

AlbertS Home of Technology 1507

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

黑马点评27—原理—Redis内存回收

Redis本身是一个典型的key-value内存存储数据库,因此所有的key、value都保存在之前学习过的Dict结构中。内存淘汰:就是当Redis内存使用达到设置的上限时,主动挑选部分key删除以释放更多内存的流程。可以发现,当key的TTL到期以后,再次访问name返回的是nil,说明这个key已经不存在了,对应的内存也得到释放。惰性删除:顾明思议并不是在TTL到期后就立刻删除,而是在访问一个key的时候,检查该key的存活时间,如果已经过期才执行删除。当内存使用达到上限时,就无法存储更多数据了。

shall_zhao的博客 1203

Redis内存回收策略

Redis内存回收策略 很多同学了解了Redis的好处之后,于是把任何数据都往Redis中放,如果使用不合理很容易导致数据超过Redis的内存,这种情况会出现什么问题呢? Redis中有很多无效的缓存,这些缓存数据会降低数据IO的性能,因为不同的数据类型时间复杂度算法不同,数据越多可能会造成性能下降。 随着系统的运行,redis的数据越来越多,会导致物理内存不足。通过使用虚拟内存(VM),将很少访问的数据交换到磁盘上,腾出内存空间的方法来解决物理内存不足的情况。虽然能够解决物理内存不足导致的问题,但

Java是世界上最好的语言 1671

Redis学习笔记-----Redis内存回收

Redis内存回收机制解析:Redis通过惰性删除和周期删除策略实现高效内存回收,包含SLOW和FAST两种模式。SLOW模式定期扫描(默认10次/秒),单次耗时≤25ms,抽样检查过期key;FAST模式在事件循环前执行(间隔≥2ms),耗时≤1ms,仅当过期key超10%时触发。内存淘汰策略在命令执行前检查,采用LRU/LFU/TTL时通过eviction_pool优先淘汰闲置key,RANDOM策略则直接随机删除。LFU计数采用概率递增和时间衰减机制,平衡性能与精准度。

2301_80860862的博客 1548

Redis是如何进行内存回收的?

命令给Redis的key设置TTL,当key的TTL到期以后,再次访问返回的是nil,说明这个key已经不存在了,对应的内存也得到释放。从而起到内存回收的目的。惰性删除是指并不是在TTL到期后就立刻删除,而是在访问一个key的时候,检查该key的存活时间,如果已经过期才执行删除。: 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰。最大的key,将他删除,然后判断内存是否充足,充足的话就结束,否则继续删除。,即不淘汰任何key,如果是,那么直接退出,会报错,否则继续执行。

weixin_45102820的博客 1191

Redis学习——内存消耗和内存回收机制

Redis的内存消耗和内存回收机制1、内存消耗1.1 查看内存消耗1.2 内存消耗划分2、内存回收机制2.1 内存使用达到maxmemory上限时候触发的溢出回收:2.2 删除过期时间的键对象 1、内存消耗 1.1 查看内存消耗 通过 info memory命令,查看Redis内存消耗的相关指标,从而有助于更好的分析内存。 执行命令之后有这么几个重要的指标: 重点需要关注下mem_fragme...

耕云者~ 2390

Redis 内存优化与管理机制(内存碎片、LRU、惰性删除、内存回收策略)

内存分配优化:Jemalloc 减少碎片引用计数 + 惰性删除:高效回收内存淘汰策略(LRU / LFU / TTL):控制数据量定期清理 + 异步释放:减少主线程阻塞内存监控,碎片率控制通过这些机制,Redis 能在高并发 + 内存受限环境下稳定运行。

波波烤鸭的博客 1560
上一篇: 34在排序数组中查找元素的第一个和最后一个位置-hot100-java题解
下一篇: 287寻找重复数-hot100-java
xin麒
博客等级 码龄6年 110粉丝 161原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值