Java高并发缓存架构,缓存雪崩、缓存穿透之谜

一张图搞懂Redis缓存雪崩、缓存穿透、缓存击穿 缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍,然后返回空。如果有恶意攻击者不断请求系统中不存在的数据,会导致短时间大量请求落在数据库上,造成数据库压力过大,甚至击垮数据库系统。缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。 阅读详情

面试题

了解什么是 redis 的雪崩、穿透和击穿?redis 崩溃之后会怎么样?系统该如何应对这种情况?如何处理 redis 的穿透?、

面试官心理分析

其实这是问到缓存必问的,因为缓存雪崩和穿透,是缓存最大的两个问题,要么不出现,一旦出现就是致命性的问题,所以面试官一定会问你。

面试题剖析

缓存雪崩

对于系统 A,假设每天高峰期每秒 5000 个请求,本来缓存在高峰期可以扛住每秒 4000 个请求,但是缓存机器意外发生了全盘宕机。缓存挂了,此时 1 秒 5000 个请求全部落数据库,数据库必然扛不住,它会报一下警,然后就挂了。此时,如果没有采用什么特别的方案来处理这个故障,DBA 很着急,重启数据库,但是数据库立马又被新的流量给打死了。

这就是缓存雪崩。

大约在 3 年前,国内比较知名的一个互联网公司,曾因为缓存事故,导致雪崩,后台系统全部崩溃,事故从当天下午持续到晚上凌晨 3~4 点,公司损失了几千万。
缓存雪崩的事前事中事后的解决方案如下。
事前:redis 高可用,主从+哨兵,redis cluster,避免全盘崩溃。
事中:本地 ehcache 缓存 + hystrix 限流&降级,避免 MySQL 被打死。
事后:redis 持久化,一旦重启,自动从磁盘上加载数据,快速恢复缓存数据。

用户发送一个请求,系统 A 收到请求后,先查本地 ehcache 缓存,如果没查到再查 redis。如果 ehcache 和 redis 都没有,再查数据库,将数据库中的结果,写入 ehcache 和 redis 中。
限流组件,可以设置每秒的请求,有多少能通过组件,剩余的未通过的请求,怎么办?走降级!可以返回一些默认的值,或者友情提示,或者空白的值。

好处:
数据库绝对不会死,限流组件确保了每秒只有多少个请求能通过。
只要数据库不死,就是说,对用户来说,2/5 的请求都是可以被处理的。
只要有 2/5 的请求可以被处理,就意味着你的系统没死,对用户来说,可能就是点击几次刷不出来页面,但是多点几次,就可以刷出来一次。

缓存穿透

对于系统A,假设一秒 5000 个请求,结果其中 4000 个请求是黑客发出的恶意攻击。
黑客发出的那 4000 个攻击,缓存中查不到,每次你去数据库里查,也查不到。
举个栗子。数据库 id 是从 1 开始的,结果黑客发过来的请求 id 全部都是负数。这样的话,缓存中不会有,请求每次都“视缓存于无物”,直接查询数据库。这种恶意攻击场景的缓存穿透就会直接把数据库给打死。

解决方式很简单,每次系统 A 从数据库中只要没查到,就写一个空值到缓存里去,比如

set -999 UNKNOWN

然后设置一个过期时间,这样的话,下次有相同的 key 来访问的时候,在缓存失效之前,都可以直接从缓存中取数据。

缓存击穿

缓存击穿,就是说某个 key 非常热点,访问非常频繁,处于集中式高并发访问的情况,当这个 key 在失效的瞬间,大量的请求就击穿了缓存,直接请求数据库,就像是在一道屏障上凿开了一个洞。
解决方式也很简单,可以将热点数据设置为永远不过期;或者基于 redis or zookeeper 实现互斥锁,等待第一个请求构建完缓存之后,再释放锁,进而其它请求才能通过该 key 访问数据。

java高并发下缓存击穿,缓存穿透、缓存雪崩解决方案 在熔断期间,对于非核心业务的缓存请求,直接返回预定义的默认值(降级策略),而不是让请求去冲击已经濒临崩溃的数据库。方案:当查询数据库返回为空(即数据不存在)时,我们仍然将这个空结果(比如 null 或一个特殊标记)进行缓存,并设置一个较短的过期时间(例如 1-5分钟)。**造成的影响:**所有请求都无法从缓存中获取数据,全部涌向数据库,导致数据库瞬时压力过大而崩溃。◦ 方案:在缓存之前,加一个布隆过滤器。:即使个别缓存节点宕机,整个缓存服务仍然可用,从而防止因缓存服务整体宕机而引发的雪崩。 阅读详情

相关推荐

用户行为路径可视化_桑葚图(Sankey)

桑基图对用户行为路径可视化的blog学习笔记。

徐思孟的博客 3860

redis 的雪崩和穿透

撸了今年阿里、头条和美团的面试,我有一个重要发现.......>>> ...

在路上2017的专栏 531

基于FPGA的TDC延迟链优化与码密度校准方法(1)——原理与实现

本文深入探讨了基于FPGA的时间数字转换器(TDC)延迟链非均匀性问题及其码密度校准方法。通过分析工艺偏差、温度电压影响等根源,详细介绍了码密度测试原理、逐位校准技术及气泡消除算法,并分享了自适应校准策略与多场景应用实践,有效提升TDC测量精度至皮秒级。

kiwi8的博客 490

Redis击穿、穿透、雪崩产生原因以及解决思路

击穿 大家都知道,计算机的瓶颈之一就是IO,为了解决内存与磁盘速度不匹配的问题,产生了缓存,将一些热点数据放在内存中,随用随取,降低连接到数据库的请求链接,避免数据库挂掉。需要注意的是,无论是击穿还是后面谈到的穿透与雪崩,都是在高并发前提下,当缓存中某一个热点key失效, 为什么会有击穿发生呢? 有两个主要原因: Key过期 Key被页面置换淘汰 对于第一个原因是因为在Redis中,Key有过期时间,如果某一个时刻(假如商城做活动,零点开始)key失效,那么零点之后对某一个商品查询请求将..

如果频繁就私信一下呢 641

Zoom AI 技术架构研究:联合式方法与多模态集成

通过 Zoom AI 开放平台,企业可以自定义 AI 模块 (如法律合规审查、客户反馈分析),扩展应用场景。这种开放平台策略使企业能够根据自身需求定制 AI 功能,满足特定业务需求。

shao.bing的专栏 1319

基于单片机的室内空气质量监控系统设计

摘 要 I Abstract II 引 言 1 1 控制系统设计 3 1.1 方案选择 3 1.2 系统控制原理 4 2系统硬件设计 5 2.1 单片机的选择与设计 5 2.2 温湿度模块设计 6 2.3 甲醛采集模块设计 8 2.4 显示器模块设计 9 2.5 按键模块设计 10 2.6 报警模块设计 11 2.7 加湿及风扇模块设计 11 3系统软件设计 13 3.1 总流程方案设计 13 3.2 温湿度获取的软件设计 14 3.3 液晶屏LCD1602的软件设计 15 4系统调试 13 4

Q_1928499906的博客 2703

阿里P8架构师谈:什么是缓存雪崩?服务器雪崩的场景与解决方案

什么是应用服务雪崩 雪崩问题 分布式系统都存在这样一个问题,由于网络的不稳定性,决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候,作为服务的提供者,自身可能会被拖死,导致服务调用者阻塞,最终可能引发雪崩连锁效应。 缓存雪崩 当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,也会给后端系统(比如DB)带来很大压力,造成数据库后端故障,从而引起应用服务器雪崩。 雪崩效应产生的几种场景 流量激增:比如异常流量、用户重试导致系统负.

一个有情怀的程序猿博客 272

【智驾与大模型】端到端与多模态大模型的精彩之旅

智驾和大模型的回顾与展望。开头的笔者自述也说了些心窝子话,边缘计算的监管刻不容缓!

仿生实验室:从0到1,制作人脸表情交互机器人,记录过程,软硬件全部开源,与君共襄盛举! 1321

【跳槽面试】了解什么是 redis 的雪崩、穿透和击穿?redis 崩溃之后会怎么样?应对措施是什么

缓存击穿,就是说某个 key 非常热点,访问非常频繁,处于集中式高并发访问的情况,当这个 key 在失效的瞬间,大量的请求就击穿了缓存,直接请求数据库,就像是在一道屏障上凿开了一个洞。大约在 3 年前,国内比较知名的一个互联网公司,曾因为缓存事故,导致雪崩,后台系统全部崩溃,事故从当天下午持续到晚上凌晨 3~4 点,公司损失了几千万。其实这是问到缓存必问的,因为缓存雪崩和穿透,是缓存最大的两个问题,要么不出现,一旦出现就是致命性的问题,所以面试官一定会问你。这样的话,缓存中不会有,请求每次都“

技术分享 1955

两万字硬核指南!Python爬虫requests库从入门到精通:新手也能搞定所有爬取场景(附实战案例+避坑大全)

请求头是客户端发送给服务器的额外信息,比如User-Agent(浏览器类型)、Referer(来源页面)、Cookie(登录凭证)、(编码方式)等。Cookie是服务器存储在客户端的小型文本文件,包含用户的登录凭证、偏好设置等信息。浏览器会在每次请求时自动携带Cookie,服务器通过Cookie识别用户身份。代理IP是一个中间服务器,你的请求先发送到代理IP,再由代理IP发送到目标网站,目标网站只能看到代理IP的地址,看不到你的真实IP。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1497

Kubernetes(K8s)从入门到精通系列之一:一篇文章了解K8s全部核心知识点

Kubernetes(K8s)从入门到精通系列之一:一篇文章了解K8s全部核心知识点

zhengzaifeidelushang的博客 852

Redis缓存雪崩,缓存穿透,缓存击穿

缓存雪崩 1,缓存同一时间大面积的失效(缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了,缓存同时失效),请求全部走数据库。 2,Redis挂掉了,请求全部走数据库。 导致数据库CPU和内存负载过高,甚至宕机。存雪崩如果发生了,很可能就把我们的数据库搞垮,导致整个服务瘫痪! 缓存雪崩的事前事中事后的解决方案如下: 对于缓存数据设置的过期时间是相同的,缓存大面积的失效 1、在缓存的时候给过期时间加上一个随机值,这样就会大幅度的减少缓存在同一时间过期。 2,Redis挂掉

啊勇的博客 646

零基础学simulink仿真建模--使用Simulink来构建一个混合动力无人机中燃料电池与锂电池协同控制的仿真模型

延长飞行时间:燃料电池的能量密度高于锂电池,适合长时间稳定供电。提高功率密度:锂电池能够快速响应瞬时高功率需求,比如起飞和加速阶段。优化能源管理:通过有效的能量管理系统,可以根据实际需求动态调整燃料电池和锂电池的工作状态,从而提高整体效率。通过上述步骤,我们简要介绍了如何基于Simulink实现混合动力无人机中燃料电池与锂电池协同控制的仿真模型。

amy_mhd的博客 191

缓存穿透、并发和雪崩那些事

作者:李艳鹏,阿里资深技术专家!著有《可伸缩服务架构》,《分布式服务架构》等作品,在区块链,聚合支付,电商等领域有一定的积累!0 题记缓存穿透、缓存并发和缓存雪崩是常见的...

架构师小秘圈 296

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

一文彻底分清缓存穿透、缓存击穿、缓存雪崩问题(含记忆技巧)

缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍。如果有恶意攻击者不断请求系统中不存在的数据,会导致短时间大量请求落在数据库上,造成数据库压力过大,甚至导致数据库承受不住而宕机崩溃。那么,我们该怎么记忆缓存穿透呢?我们可以这么想,缓存穿透其实就是恶意攻击,就是有人想“穿”过你的防护网(缓存)来“偷”你的家(数据库),这也就是穿透。或者你这样想,有人想恶意攻击你的数据库,这是不是不好的行为,是不是小偷的行为!

胜人者有力,自胜者强! 1万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Java面试-Redis 缓存穿透、缓存击穿、缓存雪崩解决方案

本文系统梳理了Redis缓存三大灾难问题——缓存穿透、缓存击穿和缓存雪崩的解决方案。针对缓存穿透,提出布隆过滤器、缓存空值等防御策略;对于缓存击穿,采用互斥锁和热点数据永不过期等方法;应对缓存雪崩,建议设置随机过期时间、集群部署等方案。文章通过15+架构图解、7+故障推演和25道面试题,构建了一套完整的缓存防御体系,帮助开发者打造高可用的系统架构。全文从原理到实战,深入浅出地解析了缓存问题的本质与应对之道。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Redis系列:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级

今天给大家整理一篇关于Redis经常被问到的问题:缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念 一、缓存雪崩 缓存雪崩我们可以简单的理解为:由于原有缓存失效,新缓存未到期间(例如:我们设置缓存时采用了相同的过期时间,在同一时刻出现大面积的缓存过期),所有原本应该访问缓存的请求都去查询数据库了,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个...

Onechengxuyuan的博客 2616

Java技术栈 —— 缓存雪崩、击穿与穿透

Java技术栈 —— 缓存雪崩、穿透与击穿

键盘国治理专家的博客 1679

redis缓存穿透、雪崩与击穿

在分布式系统中,缓存的引入旨在减少数据库的访问压力,提升数据读取速度。然而,缓存的高效运作需要避免一些潜在问题的干扰。缓存作为提升系统性能的重要手段,其正确的设计和管理对系统的稳定性和高效性至关重要。本文详细探讨了Redis在分布式系统中常见的三大缓存问题——缓存穿透、缓存雪崩与缓存击穿,并介绍了相应的解决方案和Java代码实现。通过布隆过滤器、随机过期时间和互斥锁等技术手段,可以有效应对这些挑战,确保缓存系统的稳定运行。

Flying_Fish_roe的博客 1471

MySQL - +Redis 缓存架构实战:缓存穿透、击穿、雪崩解决方案

本文深入探讨MySQL与Redis缓存架构中的三大核心问题:缓存穿透、击穿和雪崩。针对缓存穿透问题,提出缓存空值和布隆过滤器两种解决方案,通过Java代码示例演示如何防止无效查询冲击数据库。对于缓存击穿问题,重点分析互斥锁和逻辑过期策略,确保热点数据不会因并发访问导致数据库过载。针对缓存雪崩现象,提出随机过期时间、多级缓存和熔断降级等策略,避免大规模缓存失效引发系统崩溃。文章结合实战场景,为开发者提供了一套完整的缓存问题解决方案,帮助构建高可用的分布式系统架构。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

Redis缓存击穿、缓存穿透和缓存雪崩

缓存击穿、缓存穿透和缓存雪崩是常见的缓存相关问题,在设计和使用缓存时需要注意避免这些问题的发生。缓存击穿是指在缓存中不存在但数据库中存在的数据,当有大量并发请求同时访问这个不存在的数据时,这些请求会穿透缓存直接访问数据库,导致数据库压力过大,性能下降。缓存穿透是指查询一个不存在的数据,由于缓存和数据库中都不存在该数据,因此每次查询都会直接访问数据库,导致数据库压力过大。在上述示例中,通过生成一个随机值,将缓存数据的过期时间设置为缓存过期时间加上随机值,从而实现数据过期时间的随机化。

果酱 の 博客 1万+

JAVA面试宝典 -《缓存架构:穿透 / 雪崩 / 击穿解决方案》

本文系统介绍了高并发系统中缓存架构的三大核心问题及解决方案。缓存穿透通过布隆过滤器和空值缓存拦截;缓存击穿采用分布式锁和热点预加载;缓存雪崩通过TTL随机抖动和熔断机制应对。文章还深入探讨了热点Key探测、本地缓存优化和Redis分布式锁的正确实现方式,结合代码示例展示了如何构建高可用的缓存架构,解决电商大促等场景下的性能瓶颈问题。

qq_43414012的博客 1297
上一篇: java并发编程系列:生产者-消费者模式
下一篇: Spring Boot中如何干掉if else
Java_No2
博客等级 码龄7年 20粉丝 109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值