Java高并发缓存架构,缓存雪崩、缓存穿透之谜

【Java面试】redis雪崩、穿透和击穿详解 1.Redis雪崩是指在某一时刻,缓存中大量的缓存数据同时失效或过期,导致大量的请求直接打到后端数据库,导致数据库负载剧增,引发性能问题甚至崩溃。这通常是因为缓存数据的过期时间设置过于集中,或者在同一时间段内大量缓存同时失效造成的。2.Redis穿透是指恶意或者异常请求查询一个不存在于缓存和数据库中的数据,导致每次请求都会直接访问数据库,增加了数据库负担。这可能是攻击者故意进行的,也可能是由于业务逻辑问题造成的。3. 阅读详情

面试题

了解什么是 redis 的雪崩、穿透和击穿?redis 崩溃之后会怎么样?系统该如何应对这种情况?如何处理 redis 的穿透?

面试官心理分析

其实这是问到缓存必问的,因为缓存雪崩和穿透,是缓存最大的两个问题,要么不出现,一旦出现就是致命性的问题,所以面试官一定会问你。

面试题剖析

缓存雪崩

对于系统 A,假设每天高峰期每秒 5000 个请求,本来缓存在高峰期可以扛住每秒 4000 个请求,但是缓存机器意外发生了全盘宕机。缓存挂了,此时 1 秒 5000 个请求全部落数据库,数据库必然扛不住,它会报一下警,然后就挂了。此时,如果没有采用什么特别的方案来处理这个故障,DBA 很着急,重启数据库,但是数据库立马又被新的流量给打死了。

这就是缓存雪崩。

 

 

大约在 3 年前,国内比较知名的一个互联网公司,曾因为缓存事故,导致雪崩,后台系统全部崩溃,事故从当天下午持续到晚上凌晨 3~4 点,公司损失了几千万。

缓存雪崩的事前事中事后的解决方案如下。

  • 事前:redis 高可用,主从+哨兵,redis cluster,避免全盘崩溃。
  • 事中:本地 ehcache 缓存 + hystrix 限流&降级,避免 MySQL 被打死。
  • 事后:redis 持久化,一旦重启,自动从磁盘上加载数据,快速恢复缓存数据。

 

 

用户发送一个请求,系统 A 收到请求后,先查本地 ehcache 缓存,如果没查到再查 redis。如果 ehcache 和 redis 都没有,再查数据库,将数据库中的结果,写入 ehcache 和 redis 中。

限流组件,可以设置每秒的请求,有多少能通过组件,剩余的未通过的请求,怎么办?走降级!可以返回一些默认的值,或者友情提示,或者空白的值。

好处:

  • 数据库绝对不会死,限流组件确保了每秒只有多少个请求能通过。
  • 只要数据库不死,就是说,对用户来说,2/5 的请求都是可以被处理的。
  • 只要有 2/5 的请求可以被处理,就意味着你的系统没死,对用户来说,可能就是点击几次刷不出来页面,但是多点几次,就可以刷出来一次。

缓存穿透

对于系统A,假设一秒 5000 个请求,结果其中 4000 个请求是黑客发出的恶意攻击。

黑客发出的那 4000 个攻击,缓存中查不到,每次你去数据库里查,也查不到。

举个栗子。数据库 id 是从 1 开始的,结果黑客发过来的请求 id 全部都是负数。这样的话,缓存中不会有,请求每次都“视缓存于无物”,直接查询数据库。这种恶意攻击场景的缓存穿透就会直接把数据库给打死。

解决方式很简单,每次系统 A 从数据库中只要没查到,就写一个空值到缓存里去,比如 set -999 UNKNOWN。然后设置一个过期时间,这样的话,下次有相同的 key 来访问的时候,在缓存失效之前,都可以直接从缓存中取数据。

缓存击穿

缓存击穿,就是说某个 key 非常热点,访问非常频繁,处于集中式高并发访问的情况,当这个 key 在失效的瞬间,大量的请求就击穿了缓存,直接请求数据库,就像是在一道屏障上凿开了一个洞。

解决方式也很简单,可以将热点数据设置为永远不过期;或者基于 redis or zookeeper 实现互斥锁,等待第一个请求构建完缓存之后,再释放锁,进而其它请求才能通过该 key 访问数据。

 

Q Q交流群: 点击 有任何问题可以加群交流   

Java最新一线架构技术讲解请:点击 内容实用 讲解简单易懂

一张图搞懂Redis缓存雪崩、缓存穿透、缓存击穿 缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍,然后返回空。如果有恶意攻击者不断请求系统中不存在的数据,会导致短时间大量请求落在数据库上,造成数据库压力过大,甚至击垮数据库系统。缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。 阅读详情

相关推荐

java高并发下缓存击穿,缓存穿透、缓存雪崩解决方案

在熔断期间,对于非核心业务的缓存请求,直接返回预定义的默认值(降级策略),而不是让请求去冲击已经濒临崩溃的数据库。方案:当查询数据库返回为空(即数据不存在)时,我们仍然将这个空结果(比如 null 或一个特殊标记)进行缓存,并设置一个较短的过期时间(例如 1-5分钟)。**造成的影响:**所有请求都无法从缓存中获取数据,全部涌向数据库,导致数据库瞬时压力过大而崩溃。◦ 方案:在缓存之前,加一个布隆过滤器。:即使个别缓存节点宕机,整个缓存服务仍然可用,从而防止因缓存服务整体宕机而引发的雪崩。

baidu_39212797的博客 804

在java中雪崩是什么意思,如何解决雪崩问题

综上所述,雪崩效应指缓存系统中大量缓存失效或不可用时,导致请求直接落到后端系统上,造成系统性能下降甚至崩溃的现象。当缓存系统中的大量缓存同时失效或不可用时,请求会直接落到后端系统上,导致后端系统负载骤增,甚至宕机。缓存失效策略:合理设置缓存的过期时间,并采用合适的缓存失效策略,如LRU(最近最少使用)等。多级缓存:使用多级缓存架构,如本地缓存、分布式缓存等,减少单一缓存失效对整个系统的影响。缓存预热:在系统启动或缓存失效前,提前加载热门数据到缓存中,避免大量请求落到后端系统。

Li2992673708的博客 1093

解决缓存雪崩问题

在java开发中如何解决缓存雪崩的问题,因为缓存失效导致数据未加载到缓存中,或者缓存同一时间大面积的失效 从而导致所有请求都去查询数据库,导致数据库CPU和内存负载过高,甚至宕机

Java-Redis缓存穿透,击穿,雪崩和布隆算法

假设一个客户端 一个tomcat 一个redis(里面有一条热门数据 时间期限为1天) mysql1天之内 是客户端---- tomcat ----redis1天之后 客户端----tomcat----mysql 这种情况就叫缓存击穿总结: redis中只有一条有效数据,当过了这个时间,tomcat就穿过redis,直接访问数据库,这个就叫缓存击穿缓存击穿和缓存穿透的区别:缓存击穿是缓存穿透的一种特殊表现形式。

搬着砖,敲着代码的博客 1027

Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model

启发式算法广泛用于处理复杂的搜索和优化问题。然而,启发式算法的手动设计通常非常耗费人力,需要丰富的工作经验和知识。本文提出了启发式算法的进化 (EoH),这是一种新颖的进化范式,它利用大型语言模型 (LLM) 和进化计算 (EC) 方法进行自动启发式设计 (AHD)。EoH 代表自然语言中的启发式概念,称为思想。然后由 LLM 将它们转换为可执行代码。进化搜索框架中思想和代码的演变使其在生成高性能启发式算法方面非常有效和高效。

weixin_43961909的博客 2162

Windows上搭建OpenHarmony星闪开发环境:HiSpark Studio全流程指南

嵌入式开发中,环境搭建是项目启动的关键步骤。OpenHarmony作为开源操作系统,其构建体系依赖Python脚本和GN/Ninja工具链,对版本兼容性要求严格。星闪(NearLink)技术作为新一代短距无线通信方案,在时延、并发和抗干扰方面优势显著,广泛应用于智能家居、工业控制等场景。在Windows平台上,通过HiSpark Studio集成开发工具,开发者可高效完成代码编辑、编译、烧录与调试。然而,Python版本冲突、环境变量配置、驱动签名等问题常导致搭建失败。本文详细拆解从系统准备到编译验证的全流

weixin_32658257的博客 342

缓存雪崩、缓存击穿、缓存穿透详解及解决方案

缓存雪崩指的是由于缓存服务器在同一时间大面积失效或宕机,导致大量请求直接打到数据库,瞬间引发数据库压力激增,甚至导致数据库崩溃。缓存击穿是指某个热点数据在缓存中失效的瞬间,大量的并发请求同时访问该数据,由于该数据在缓存中失效,大量请求同时打到数据库,造成数据库压力骤增。这种情况通常发生在热点数据或访问频繁的数据上。缓存穿透是指客户端频繁访问一些根本不存在的缓存数据,由于缓存中没有这些数据的记录,每次请求都直接打到数据库,导致数据库压力增大。这通常是由于用户输入非法或恶意构造的请求引发的。

weixin_48903815的博客 2209

人类肠道微生物群落代谢建模

MICOMWeb 是款用户友好型网站,专为人类肠道微生物群落代谢建模设计。该网站旨在解决基因组尺度代谢模型(in silico)构建过程中的3大限制:① 使用 MICOM Python 包进行通量平衡分析时对用户 Python 编程知识的要求;② 支持预定义和用户自定义饮食,以生成专属代谢模型;③ 处理宏基因组鸟枪法测序或 16S 扩增子测序获得的真实丰度数据时,所需的高通量计算基础设施。本文展示了 MICOMWeb 的核心功能,用户可轻松开展虚拟实验,为3个已发表数据集的实验验证生成功能性假设。

多组・学・多组学 1169

阿里P8架构师谈:什么是缓存雪崩?服务器雪崩的场景与解决方案

什么是应用服务雪崩 雪崩问题 分布式系统都存在这样一个问题,由于网络的不稳定性,决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候,作为服务的提供者,自身可能会被拖死,导致服务调用者阻塞,最终可能引发雪崩连锁效应。 缓存雪崩 当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,也会给后端系统(比如DB)带来很大压力,造成数据库后端故障,从而引起应用服务器雪崩。 雪崩效应产生的几种场景 流量激增:比如异常流量、用户重试导致系统负.

一个有情怀的程序猿博客 272

拆解爆火AI图文日报!用扣子(Coze)工作流,10分钟实现自动化新闻早报

当用户提供一则新闻内容时,仔细分析新闻中的关键信息。提取新闻事件的核心要点,包括事件主体、发生时间、地点、主要情节等。用简洁的语言对新闻进行总结,控制在[X]字以内(可根据实际需求设定字数限制)。若用户提供多条新闻,对比各新闻之间的异同点。从事件类型、影响范围、发展趋势等方面进行分析。综合总结多条新闻的整体情况,以有条理的方式呈现给用户。

一身都是月 2426

飞书多维表格省钱攻略:1个专业版账号,全员合规用、权限全掌控

像运动馆、 托管班、作业辅导、少儿美术、书法、口才班等等。对于大多数中小团队而言,飞书多维表格的核心需求是“协作高效、数据可控、成本可控”,而“1个专业版账号+多联系人”的模式,恰好完美契合这三点——既不用为不必要的席位付费,又能解锁全部专业功能,还能通过精细化权限管控保障数据安全。尤其是餐饮店、乒乓球训练馆这类个体经营或小型团队,人员分工清晰、权限需求明确,采用这种模式能最大化节省成本,同时提升管理效率。无需复杂的配置,无需额外的技术支持,5分钟就能搭建起全员协作的省钱体系。

涛涛讲AI 2215

缓存穿透、并发和雪崩那些事

作者:李艳鹏,阿里资深技术专家!著有《可伸缩服务架构》,《分布式服务架构》等作品,在区块链,聚合支付,电商等领域有一定的积累!0 题记缓存穿透、缓存并发和缓存雪崩是常见的...

架构师小秘圈 296

LPDDR6与LPDDR5 ZQ Calibration技术探讨

LPDDR6与LPDDR5 ZQ Calibration技术探讨

zilan23的博客 1099

一文彻底分清缓存穿透、缓存击穿、缓存雪崩问题(含记忆技巧)

缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍。如果有恶意攻击者不断请求系统中不存在的数据,会导致短时间大量请求落在数据库上,造成数据库压力过大,甚至导致数据库承受不住而宕机崩溃。那么,我们该怎么记忆缓存穿透呢?我们可以这么想,缓存穿透其实就是恶意攻击,就是有人想“穿”过你的防护网(缓存)来“偷”你的家(数据库),这也就是穿透。或者你这样想,有人想恶意攻击你的数据库,这是不是不好的行为,是不是小偷的行为!

胜人者有力,自胜者强! 1万+

Qt Android MySql 数据库驱动编译(详细图解步骤)

第一步.先介绍下环境搭建: Qt 版本 5.12.11 下载链接 https://download.qt.io/archive/qt/5.12/5.12.11/qt-opensource-linux-x64-5.12.11.run Ubuntu 18.04.6 LTS 下载链接 JDK版本 1.8.0_191 下载链接https://www.oracle.com/java/technologies/downloads/ Android Studio版本 ...

h a 6 6 6 c k 为 你解决复杂难题! 3381

C#winform自定义绘制曲线控件实例

本文实例讲解自定义绘制曲线控件过程。 在实际项目中,需要绘制曲线,系统的提供的绘制曲线的控件有时不能满足自己的需要,需要根据项目需要定制开发曲线控件。 实例目标,实时绘制显示温湿度值曲线。

qq_30725967的博客 1734

Java面试-Redis 缓存穿透、缓存击穿、缓存雪崩解决方案

本文系统梳理了Redis缓存三大灾难问题——缓存穿透、缓存击穿和缓存雪崩的解决方案。针对缓存穿透,提出布隆过滤器、缓存空值等防御策略;对于缓存击穿,采用互斥锁和热点数据永不过期等方法;应对缓存雪崩,建议设置随机过期时间、集群部署等方案。文章通过15+架构图解、7+故障推演和25道面试题,构建了一套完整的缓存防御体系,帮助开发者打造高可用的系统架构。全文从原理到实战,深入浅出地解析了缓存问题的本质与应对之道。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Redis系列:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级

今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念 一、缓存雪崩 缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未到期间(例如:我们设置缓存时采用了相同的过期时间,在同一时刻出现大面积的缓存过期),所有原本应该访问缓存的请求都去查询数据库了,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个...

Onechengxuyuan的博客 2616

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Java技术栈 —— 缓存雪崩、击穿与穿透

Java技术栈 —— 缓存雪崩、穿透与击穿

键盘国治理专家的博客 1679

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

redis缓存穿透、雪崩与击穿

在分布式系统中,缓存的引入旨在减少数据库的访问压力,提升数据读取速度。然而,缓存的高效运作需要避免一些潜在问题的干扰。缓存作为提升系统性能的重要手段,其正确的设计和管理对系统的稳定性和高效性至关重要。本文详细探讨了Redis在分布式系统中常见的三大缓存问题——缓存穿透、缓存雪崩与缓存击穿,并介绍了相应的解决方案和Java代码实现。通过布隆过滤器、随机过期时间和互斥锁等技术手段,可以有效应对这些挑战,确保缓存系统的稳定运行。

Flying_Fish_roe的博客 1470

MySQL - +Redis 缓存架构实战:缓存穿透、击穿、雪崩解决方案

本文深入探讨MySQL与Redis缓存架构中的三大核心问题:缓存穿透、击穿和雪崩。针对缓存穿透问题,提出缓存空值和布隆过滤器两种解决方案,通过Java代码示例演示如何防止无效查询冲击数据库。对于缓存击穿问题,重点分析互斥锁和逻辑过期策略,确保热点数据不会因并发访问导致数据库过载。针对缓存雪崩现象,提出随机过期时间、多级缓存和熔断降级等策略,避免大规模缓存失效引发系统崩溃。文章结合实战场景,为开发者提供了一套完整的缓存问题解决方案,帮助构建高可用的分布式系统架构。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

Redis缓存击穿、缓存穿透和缓存雪崩

缓存击穿、缓存穿透和缓存雪崩是常见的缓存相关问题,在设计和使用缓存时需要注意避免这些问题的发生。缓存击穿是指在缓存中不存在但数据库中存在的数据,当有大量并发请求同时访问这个不存在的数据时,这些请求会穿透缓存直接访问数据库,导致数据库压力过大,性能下降。缓存穿透是指查询一个不存在的数据,由于缓存和数据库中都不存在该数据,因此每次查询都会直接访问数据库,导致数据库压力过大。在上述示例中,通过生成一个随机值,将缓存数据的过期时间设置为缓存过期时间加上随机值,从而实现数据过期时间的随机化。

果酱 の 博客 1万+
上一篇: JAVA高级架构师-浅析JavaWeb开发模式:Model1和Model2
下一篇: Java高级架构师-Java集合 HashSet的原理及常用方法
程序员杨过
博客等级 码龄7年 13粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值