面试官:为什么删除缓存后,Redis内存占用依然很高?

redis高频面试题 缓存穿透(Cache Penetration):指的是查询一个在缓存中不存在、在数据库中也不存在的数据,请求直接打到数据库。解决方案缓存空对象(最常用):当数据库查询结果为空时,也将这个空结果(如null或特定标记"NULL")写入 Redis,并设置一个较短的过期时间(如 2~5 分钟)。布隆过滤器(Bloom Filter)(大数据量推荐):在请求到达缓存之前,先经过布隆过滤器。如果布隆过滤器判断不存在:直接拦截请求,绝不查询数据库。如果布隆过滤器判断存在。 阅读详情

前言

上周刚来了个应届小师弟,组长说让我带着,周二问了我这样一个问题:师兄啊,我用top命令看了下服务器的内存占用情况,发现Redis内存占用严重,于是我就删除了大部分不用的keys,为什么内存占用还是很严重,并没有释放呢?

嗯?为什么呢?今天就带着这个问题来介绍一下如何正确释放Redis的内存。

什么是内存碎片?

内存碎片这个概念应该不是第一听说了,熟悉JVM或者操作系统的应该都熟悉,以火车卖票为例,一个车厢128个车位,由于高峰期,只剩余两个位置了,但是此时三个人想要坐在一起,能够吹吹牛批,喝喝酒的,那么这三个人肯定不会买这节车厢的两个位置了,此时这两个位置可以称之为座位碎片 。

操作系统中对于内存分配也是一样的,比如应用需要申请一块连续N个字节的空间,虽然剩余内存总量大于N个字节,但是没有一块连续的内存空间是N个字节,那么剩余的空间就是内存碎片。如下图:

图片

上图中的空闲3个字节和空闲2个字节都是内存碎片。

那么什么原因会造成内存碎片呢?这个其实大致分为两个原因,一个是操作系统的内存分配策略,一个是Redis自身原因,下面就这两个原因详细分析。

内存分配器的分配策略

内存分配器的分配策略一般是按照固定大小来分配内存,而不是按照应用程序申请的内存空间按需分配。比如8字节、16字节、32字节......

Redis提供了多种的内存分配策略,比如libc、jemalloc、tcmalloc,默认使用jemalloc。

jemalloc这种分配策略,是按照固定的空间分配,比如8字节、32字节....2KB、4KB等。当应用程序申请的内存接近某个固定值的时候,jemalloc则会分配固定的大小。比如申请了6字节,则会分配8字节的空间。

这种分配的方式的好处很明显,则会减少内存分配的次数,比如申请了20字节的内存,实际分配的是32字节的内存空间,当应用再写入10字节的数据时,则不会再次分配,剩余的12字节足够用了。这样就避免了一次的内存分配。如下图:

图片

但是坏处也很明显,申请的和分配的空间不一样,则剩余的空间很可能形成内存碎片,一旦内存碎片多了,内存利用率也会随之降低,这是很可怕的。

Redis自身的原因

Redis作为键值对存储的数据库,本身键值对的大小就是不确定的,正如上面的例子中,Redis申请了20字节的空间,但实际分配却是32字节,那么剩余的12字节则会被闲置成为内存碎片。如下图:

图片

上图中剩余12个字节空间则是闲置的,很有可能成为内存碎片,因此键值对大小不同则会造成一定的内存碎片,这是第一个原因。

第二个原因其实理解起来很简单,键值对的修改或者删除肯定会造成空间的扩容或者释放;

一方面,如果修改后的键值对变大或者变小了,势必会将占用的空间扩大或者释放不用的空间,如下图:

图片

上图中键值对修改后变小了,从原来的10个字节变成了7个字节,从而释放了3个字节,此时剩余了5个字节的空闲空间。

另一方面,如果键值对删除了,则会释放掉占用的空间,形成空闲空间。

如何判断存在内存碎片?

这个对于运维人员来说很重要,一旦出现Redis运行缓慢或者阻塞了,一定需要先判断内存的占用情况,而不是说胡乱的重启Redis。

Redis自身提供了INFO命令,可以用来查询内存的使用情况,命令如下:

INFO memory
# Memory
used_memory:1073741736
used_memory_human:1024.00M
used_memory_rss:1997159792
used_memory_rss_human:1.86G
…
mem_fragmentation_ratio:1.86

上面的各种属性含义如下:

图片

mem_fragmentation_ratio`这个指标很清楚的展示了当前内存的碎片率,比如Redis申请了1000字节,但是操作系统实际分配的内存1800个字节,则`mem_fragmentation_ratio=1800/1000=1.8

从上文也知道了,由于内存分配器的局限性,实际分配的内存绝大部分都是大于实际申请的内存,则如何通过mem_fragmentation_ratio这个值来衡量呢?这个值的范围在多少是正常的呢?

作者这里参照了许多开发人员的建议,列出了以下经验阀值:

  1. >1&&<1.5:在这个范围内是合理的,毕竟大部分情况下操作系统分配的内存总是总是大于实际申请的空间。

  2. >1.5:这表明内存碎片率已经超过50%,此时需要采取一些措施来降低碎片率了。

  3. <1:what?表明实际分配的内存小于申请的内存了,很显然内存不足了,这样会导致部分数据写入到Swap中,之后Redis访问Swap中的数据时,延迟会变大,性能会降低。

如何清理内存碎片?

既然存在内存碎片,那么的一定有方法清除内存碎片,最简单的方法则是重启Redis

但是这也存在一些风险,如下;

  1. 如果Redis未持久化,则数据会丢失(忽略从后端恢复)

  2. 即使持久化了,但是恢复数据时长不定,这个要根据AOF和RDB文件大小决定,在恢复阶段则无法提供服务。

好在Redis 4.0-RC3版本之后,Redis自身提供了一种清除内存碎片的方法

清除的原理很简单,通过复制拷贝将不连续的存放的数据搬到一起形成一块连续的内存空间,如下图:

图片

如上图,清除之前A和B不是连续的,中间隔着两个字节空闲1,但是在执行清除内存碎片操作之后,Redis拷贝了B到空闲1,释放掉之前B的空间,此时空闲1和空闲2则变成了连续的空闲空间了。

那么问题来了,这种方式固然好,但是对于单线程的Redis来说,通过这种拷贝复制的方式显然是一种耗时的操作,性能大大降低,那么有什么好的方法呢?

Redis提供了参数配置,可以控制清除内存碎片的时机,命令如下:

config set activedefrag yes

以上命令启动自动清理,但是具体什么时候清理,还要受以下两个参数的影响:

  1. active-defrag-ignore-bytes 400mb:如果内存碎片达到了400mb,开始清理(自定义)

  2. active-defrag-threshold-lower 20:内存碎片空间占操作系统分配给 Redis 的总空间比例达到20%时,开始清理(自定义)

以上两个参数只有全部满足才会开始清理

除了以上触发清理内存碎片的参数,Redis还提供了两个参数来保证在清理过程中不影响处理正常的请求,如下:

  1. active-defrag-cycle-min 25:表示自动清理过程所用 CPU 时间的比例不低于 25%,保证清理能正常开展

  2. active-defrag-cycle-max 75:表示自动清理过程所用 CPU 时间的比例不高于 75%,一旦超过,就停止清理,从而避免在清理时,大量的内存拷贝阻塞 Redis,导致响应延迟升高。

以上两个参数控制了清理过程中的CPU时间占比,保证了正常处理请求不受影响

总结

本文以师弟的一个疑问开头介绍了删除数据导致内存占用还是很高的原因是存在内存碎片,导致内存碎片大致分为两个原因,如下:

  1. 内存分配策略局限性,一般都会分配固定的空间大小,导致实际分配的内存空间大于实际申请的,从而多出了许多不连续的空闲内存块。

  2. 键值对的修改、删除导致了内存的扩容或者释放,导致多余的不连续的空闲内存块。

介绍了如何通过INFO memory命令查看内存的碎片率,通过mem_fragmentation_ratio的经验阀值来判断异常。

介绍了Redis清理内存碎片的方式以、自动清理的两个触发条件、保证正常处理请求的两个控制CPU时间的参数。

斗智斗勇之Redis redis 阅读详情

相关推荐

AI面试官实战解析:基于真实项目的技术架构设计与评估

在软件工程领域,系统架构设计是构建高可用、可扩展应用的核心能力,它涉及从需求分析到技术选型的完整决策链。其原理在于通过分层、模块化和解耦,平衡性能、一致性与可维护性。掌握架构设计不仅能提升系统鲁棒性,更是高级工程师的核心竞争力,广泛应用于电商、金融等高并发场景。本文聚焦于AI面试中的项目实战,深入探讨如何设计一个社区团购库存系统,涵盖分布式事务、缓存策略与容灾方案,并解析AI如何通过自然语言处理评估候选人的技术深度与架构思维。

weixin_30338497的博客 398

telegram 常见问题

目录 一般的问题 问:什么是电报?我在这里做什么 问:谁是电报? 问:电报与WhatsApp不同? 问:电报多大? 问:我可以使用哪些设备? 问:电报背后的人是谁? 问:你有广告吗?还是出售我的数据?还是偷我的爱人,奴役我的孩子? 问:你怎么赚钱的? 问:你对互联网隐私的看法是什么? 问:电报中有非法内容。我该怎么把它丢下来? 问:机器人或频道侵犯了我的版权。我该怎么办? 问:等等!0_o您是否处理第三方的退货请求? 问:我的机器人或贴纸被不公平地禁止,我该怎么办? 问:您是否

whatday的专栏 5万+

Redis 面试核心知识点全梳理:从数据结构到高可用架构

在Java后端与分布式系统实践中,缓存技术是提升性能的关键一环,而Redis作为内存数据库的代表,其底层设计直接关系到缓存命中率与系统稳定性。从基础的数据结构如String、List、Hash、Set、ZSet出发,理解SDS、跳表等底层原理,是解决缓存穿透、缓存击穿与缓存雪崩等高频问题的前提。同时,持久化机制(RDB与AOF)、内存淘汰策略以及分布式锁的正确实现,共同构成了生产环境下的高可用保障。掌握主从复制、哨兵与Cluster集群的架构演进,能够帮助开发者应对大规模并发场景下的数据一致性与容灾需求。本

weixin_34241036的博客 318

windows备用内存(任务管理器-性能-已缓存)占用过大 解决方案

有人提到关闭“服务-sysmain”,以关闭Superfetch功能。个人使用下来,这个方法并不会让“已缓存”部分长期稳定在一个较小的值,并且体感上没有什么效果。当然,内存不够,根本上还是需要再增加内存条了,这个方法只是能帮你多挤一些牙膏而已,而且或许某些时候(比如多开负载严重的时候)会因此产生一些bug之类的。

weixin_45084217的博客 3万+

微服务与分布式面试核心:从Nacos到Redis分布式锁与Seata实战

分布式架构的底层逻辑在于将单进程调用拆分为跨网络协作,由此带来服务发现、数据一致性、并发控制等一系列工程挑战。理解CAP与BASE理论是掌握微服务技术选型的根基,而Nacos作为注册与配置中心,Redis分布式锁与Seata事务框架则是解决具体问题的关键工具。从服务拆分到流量治理,从幂等设计到缓存穿透,这些知识点共同构成了分布式系统落地的核心技能树。本文围绕微服务与分布式面试高频考点,梳理从原理到实战的完整路径,帮助读者建立架构决策思维。

weixin_33901926的博客 517

Go面试全攻略:从GMP模型到内存逃逸的高频考点与答题思路

在编程语言技术面试中,Go语言的高频考点通常围绕并发模型、内存管理和工程实践展开。理解goroutine的调度核心GMP模型,掌握channel的同步机制与锁的使用边界,是评估开发者并发能力的关键。同时,内存逃逸分析、三色标记与混合写屏障等GC原理,直接反映了对Go运行时底层机制的理解深度。对于求职者而言,不仅需要熟悉slice、map等基础数据结构的陷阱,更要在场景设计中展现出工程权衡能力,例如基于更通用的缓存淘汰算法LRU、限流器设计等系统设计思维。本文从这些基础且高频的概念出发,再自然收敛到Go岗位面

weixin_33585822的博客 314

Telegram 查看下载保存的文件

这个问题在 quora 上有提问 Where can I find downloaded files through Telegram channels in Android And how can I delete those 下载的文件可以在 Internal Storage(sdcard0) -&amp;amp;gt; Downloads 目录下找到。 ...

在到处之间找我 43万+

注册“Oracle Provider for OLE DB”和创建链接服务器

注册“Oracle Provider for OLE DB”和创建链接服务器 在sql server 数据库上创建链接服务器,连接oracle数据库,访问接口需要设置为:“Oracle Provider for OLE DB”。 如果电脑上没有这个驱动,安装一个完整的Oracle11gR2程序是一个有效的方法,但这个64位版本的安装包有2个多G, 相当庞大,如果仅仅...

weixin_30760895的博客 2386

黑马点评项目 | Redis学习笔记「纯享版」10w字超详细总结(含资料)

这次笔记是本人二刷Redis实战篇黑马点评的8w字汇总笔记。如果需要资料,于本文末尾查找即可

2025优快云博客之星Top246,后端开发技术领域新星创作者。 3万+

《童虎学习笔记》5分钟用Keepalived搭建MySQL高可用实现虚ip自动漂移

1

tonghu_note的博客 5618

Allegro 16.6 高级技巧实战:用Region规则和动态间距搞定高密度连接器布局布线

本文深入探讨了Allegro 16.6在高密度连接器布局布线中的高级技巧,重点介绍了Region规则和动态间距属性的应用。通过局部规则覆盖和分层控制,解决0.5mm以下引脚间距的布线难题,提升PCB设计效率和质量。

weixin_30352645的博客 442

中间件(Redis篇)

Redis相关文章汇总

老苏的一日三浪 419

新手必看:CiscoPacket Tracer从零搭建局域网(含ARP协议详解)

本文为网络新手提供了一份使用Cisco Packet Tracer从零搭建局域网的详细指南。通过构建基础网络拓扑、配置IP地址,并深入剖析ARP协议的工作原理,帮助读者理解IP地址与MAC地址的映射关系,掌握局域网通信的核心机制。

weixin_29275257的博客 205

Redis缓存面试题精讲:穿透、击穿、雪崩与分布式锁实战

缓存是后端系统提升性能的核心手段,几乎所有高并发读写链路都离不开Redis。理解缓存原理,首先要掌握读写链路的组成:请求先访问缓存,未命中再查询数据库,这一过程涉及网络、序列化、线程池等多层开销。缓存穿透、击穿、雪崩是常见故障,分别对应不存在数据、热点Key过期、大量Key同时失效等场景;布隆过滤器、互斥锁、随机过期时间等方案各有边界。分布式锁和缓存一致性则是工程实践中的高频难点,从setnx到Lua脚本,再到Redisson看门狗、延迟双删,都需要厘清时间窗口与原子性。合理使用本地缓存、binlog订阅等

weixin_30458043的博客 433

Flink CDC 中 StartupOptions 模式详解

Flink CDC 的 StartupOptions 模式用于指定作业启动时从源数据读取数据的起始位置,不同的模式适用于不同的业务场景,可满足多样化的数据处理需求,主要有 Initial 模式、Earliest 模式、Latest 模式、SpecificOffset 模式和 Timestamp 模式。

RodJohnsonDoctor的专栏 850

NX二次开发PK获取对象类型

PK_ENTITY_ask_class(),获取对象类型建议用这个函数,比较通用,包含所有对象类型,可以替代UF_MODL_ask_edge_type(),UF_MODL_ask_body_type(),UF_MODL_ask_face_type()等函数。

qq_39541524的博客 829

Redis面试进阶指南:从底层原理到高并发架构落地

在高并发系统设计中,缓存是提升性能的关键手段,而Redis作为主流的内存数据库,其底层原理与架构设计直接影响系统的稳定性。从数据结构、内存模型到IO多路复用,Redis通过高效设计支撑着高吞吐的访问。理解缓存穿透、击穿、雪崩等故障的成因与解决方案,是工程实践中的必备技能。随着业务规模扩大,主从复制、哨兵与Cluster集群技术成为保障高可用与扩展性的核心。本文系统梳理Redis从基础命令到源码分析、再到企业级架构落地的完整知识链路,帮助开发者构建面试中的判断力,而非机械背诵结论。

weixin_33507732的博客 315

(数字图像处理MATLAB+Python)第五章图像增强-第一节:图像增强概述和基于灰度级变换的图像增强

图像增强(Image Enhancement):指不考虑图像降质原因,利用各种数学方法和变换手段,增强图像中人们感兴趣部分或提高有用的图像特征的清晰度。从图像质量来看,图像增强提高了图像的可懂度,改善了图像的视觉效果例如在现实场景中,针对那些对比度较差、视觉效果不好的图像,我们就可以利用图像增强改善视觉质量图像增强可分为如下几种基于灰度级变换的图像增强基于直方图修正的图像增强基于照度反射模型的图像增强基于模糊技术的图像增强基于伪彩色处理的图像增强其他图像增强方法分段线性灰度级变换。

快乐江湖的博客 3335

Java在线教育项目面试全攻略:从架构设计到高并发实战

微服务架构与分布式系统是构建现代互联网应用的核心技术范式。其核心原理在于将单体应用拆分为一组小型、独立的服务,通过轻量级通信机制协同工作,以此实现系统的松耦合、独立部署与弹性伸缩。这一架构的技术价值在于能够显著提升开发效率、系统可维护性以及应对高并发场景的能力,尤其适用于电商、社交、在线教育等业务模块复杂且需快速迭代的平台。在典型的在线教育平台应用场景中,用户管理、课程服务、订单支付等模块天然适合微服务化。为了保障分布式环境下的数据一致性,业界常采用基于消息队列的最终一致性方案,并结合**Redis分布式锁

weixin_33862993的博客 320

基于双向GRU LSTM DNN水电站水文数据的每日径流量预测 完整代码+数据 可直接运行

基于双向GRU LSTM DNN水电站水文数据的每日径流量预测 完整代码+数据 可直接运行

1904

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

2024 Java面试最新八股文:高频考点与原理深度解析

技术面试中,基础概念是沟通的共同语言,而真正区分候选人的往往是对底层原理的理解深度。从java运算符和表达式到集合框架、并发编程、JVM内存模型,再到MySQL索引、Redis缓存与消息中间件,每一个知识点都承载着工程实践的价值。理解原理不仅能帮助应对面试追问,更能指导线上问题排查与系统性能优化。例如,面对内存溢出异常时,需要从堆、直接内存等不同区域定位根因;而kafka八股文为什么能支撑百万并发,则要从顺序写磁盘、Page Cache、零拷贝、分区并行与批量压缩等机制逐层拆解。这些考点覆盖从基础语法到分布

weixin_30607029的博客 471

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Java后端面试八股文:三天高效复习高频考点与场景化追问

在技术面试环节中,Java后端开发的考核早已从单纯的概念复述转向原理追问与场景实战。诸如HashMap的底层冲突处理、线程池参数如何配置、Spring循环依赖的解决机制、MySQL索引失效条件以及Redis缓存穿透应对,都是面试官高频布防的深水区。面对时间紧、考点多的现实,掌握“结论+原理+项目表达”的答题逻辑,比盲目刷题更有效。通过理解并发可见性、事务隔离级别、JVM内存模型等基础概念,结合真实故障排查路径,即便是短期备战也能构建起清晰的应对框架。从高频考点切入,逐步延伸至线上场景与常见问题分析,最终能在

weixin_32612263的博客 272

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

上一篇: 如何保证API接口安全?
下一篇: 能用到 “退休” 的 600条 Linux 命令,直接起飞!
Java_2017_csdn
博客等级 码龄10年 329粉丝 49原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值