分布式-缓存防穿透 、雪崩

最新推荐文章于 2023-06-24 17:08:54 发布
最新推荐文章于 2023-06-24 17:08:54 发布
阅读量1.4w 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 分布式架构高可用架构篇 分布式高可用架构 文章标签： 缓存穿透 缓存雪崩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hardworking0323/article/details/81161333
本文详细探讨了缓存穿透的预防措施，包括缓存空对象和使用布隆过滤器，并对两种方法进行了对比。接着讨论了缓存雪崩的解决方案，如保证缓存服务高可用、依赖隔离组件和提前演练。针对缓存热点key的重建优化，提出了互斥锁和永远不过期的策略。最后提到了缓存与数据一致性问题及Redis危险命令的重命名、禁用，以增强服务器安全性。

一、缓存穿透预防及优化

缓存穿透是指查询一个根本不存在的数据，缓存层和存储层都不会命中，但是出于容错的考虑，如果从存储层查不到数据则不写入缓存层，如图 11-3 所示整个过程分为如下 3 步：

  • 1.缓存层不命中
  • 2.存储层不命中，所以不将空结果写回缓存
  • 3.返回空结果

缓存穿透将导致不存在的数据每次请求都要到存储层去查询，失去了缓存保护后端存储的意义。

1.1 缓存穿透模型

缓存穿透问题可能会使后端存储负载加大，由于很多后端存储不具备高并发性，甚至可能造成后端存储宕掉。通常可以在程序中分别统计总调用数、缓存层命中数、存储层命中数，如果发现大量存储层空命中，可能就是出现了缓存穿透问题。

造成缓存穿透的基本有两个

  • 第一，业务自身代码或者数据出现问题
  • 第二，一些恶意攻击、爬虫等造成大量空命中，下面我们来看一下如何解决缓存穿透问题。

1.2 缓存穿透的解决方法

1.2.1 缓存空对象

如下图所示，当第 2 步存储层不命中后，仍然将空对象

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深入理解分布式技术 - 探究缓存穿透、缓存击穿、缓存雪崩解决方案
小工匠
03-04 2万+
文章目录概述缓存穿透what缓存穿透发生的场景举例不合理的缓存失效策略恶意攻击如何规避缓存穿透 概述 缓存系统不得不考虑的问题是缓存穿透、缓存击穿与失效时的雪崩效应，这是避免不了的问题 。 今天我们来讨论下这几种问题的常见的解决思路 缓存穿透 what 顾名思义，是指业务请求穿过了缓存层，落到持久化存储上。在大多数场景下，我们应用缓存是为了承载前端业务请求，缓存被击穿以后，如果请求量比较大，则会导致数据库出现风险。 高并发的情况下， 单靠数据库是不能承载的，如果缓存不能很好的工作，可能会影响数据库
Java分布式编程（11）—— Java使用分布式锁来防止缓存穿透与雪崩
shangjg3的博客
07-03 442
实现数据库分布式锁的一种常见方式是使用数据库中的行级锁。3）查询缓存数据：在获得了分布式锁之后，即可查询缓存中是否存在指定数据。如果存在，则直接返回结果；2）获取分布式锁：在需要进行操作时，首先尝试获取分布式锁。如果成功获取到，则可以执行相应操作；4）写入新数据到缓存：在完成所有操作之后，必须及时释放占用的资源（包括数据库连接、文件句柄等）以及释放所持有的分布式锁，并将新查询出来或生成出来的数据写入到缓存中去。1）选择合适的分布式锁实现：常见的分布式锁实现包括ZooKeeper、Redis和基于数据库等。
缓存与数据库一致性之三：缓存穿透、缓存雪崩、key重建方案
weixin_34324081的博客
06-17 317
一、缓存穿透预防及优化  缓存穿透是指查询一个根本不存在的数据，缓存层和存储层都不会命中，但是出于容错的考虑，如果从存储层查不到数据则不写入缓存层，如图 11-3 所示整个过程分为如下 3 步： 缓存层不命中 存储层不命中，所以不将空结果写回缓存 返回空结果  　　　　缓存穿透将导致不存在的数据每次请求都要到存储层去查询，失去了缓存保护后端存储的意义。 　　　　 　　　　　　　　...
架构设计之防止或缓解雪崩效应
_____________________________________simanstar____
02-22 326
熔断 当某个服务调用慢或者有大量超时现象(过载)，系统停止后续针对该服务的调用而直接返回，直至情况好转才恢复调用。这通常是为防止造成整个系统故障而采取的一种保护措施，也称过载保护。很多时候刚开始，可能只是出现了局部小规模系统故障，但后来故障影响的范围越来越大，最终导致了全局性的后果。 限流 对某个服务调用设置最高QPS阈值，高于阈值的请求放弃调用直接返回。这种模式不能解决服务依赖的问题，只能解决系统整体资源分配问题，因为没有被限流的请求依然有可能造成雪崩效应。 限流处理方案： 限制最大并发数.
如果Redis宕机，怎么保证它系统的可用性、持久性、安全性
m0_51697147的博客
03-22 570
1.主从复制： Redis支持主从复制，即将一个Redis实例作为主节点，其他实例作为从节点，并将主节点的数据同步到从节点。当主节点出现故障时，从节点可以接管服务，确保数据不丢失。 ...
Redis实战案例7-缓存雪崩及其解决思路
qq_45681515的博客
06-24 1211
Redis实战笔记
如何防止Redis 缓存雪崩、缓存穿透、缓存击穿
qq118034951的博客
05-10 3432
缓存异常场景分类 在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景，为了避免异常带来巨大损失，我们需要了解每种异常发生的原因以及解决方案，帮助提升系统可靠性和高可用。 缓存穿透 什么是缓存穿透？ 缓存穿透是指用户请求的数据在缓存中不存在即没有命中，同时在数据库中也不存在，导致用户每次请求该数据都要去数据库中查询一遍，然后返回空。 如果有恶意攻击者不断请求系统中不存在的数据，会导致短时间大量请求落在数据库上，造成数据库压力过大，甚至击垮数据库系统。 缓存穿透常用的解决方案 （1）布隆过滤器（.
Redis使用-缓存穿透，雪崩，击穿以及解决方案分析.docx
10-26
Redis 使用-缓存穿透、雪崩、击穿以及解决方案分析 一、缓存穿透 缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不...
Redis6分布式存储系统深度解析与实战应用_Redis传统5大数据类型源码分析缓存淘汰策略LRU算法分布式锁缓存穿透击穿雪崩解决方案布隆过滤器美团摩拜单车定位腾讯微信红包B站短链.zip
最新发布
08-23
Redis6分布式存储系统深度解析与实战应用_Redis传统5大数据类型源码分析缓存淘汰策略LRU算法分布式锁缓存穿透击穿雪崩解决方案布隆过滤器美团摩拜单车定位腾讯微信红包B站短链.zip
宕机了，Redis如何避免数据丢失？
m0_47704296的博客
02-03 508
1：、fork⼦进程，fork这个瞬间⼀定是会阻塞主线程的（注意，fork时并不会⼀次性拷⻉所有内存数据给⼦进程），fork采⽤操作系统提供的写实复制(Copy On Write)机制，就是为了避免⼀次性拷⻉⼤量内存数据给⼦进程造成的⻓时间阻塞问题，但fork⼦进程需要拷⻉进程必要的数据结构，其中有⼀项就是拷⻉内存⻚表（虚拟内存和物理内存的映射索引表），这个拷⻉过程会消耗⼤量CPU资源，拷⻉完成之前整个进程是会阻塞的，阻塞时间取决于整个实例的内存⼤⼩，实例越⼤，内存⻚表越⼤，fork阻塞时间越久。
《redis学习》-- 缓存穿透和缓存雪崩的预防和解决
热门推荐
04-02 1万+
redis缓存穿透和缓存失效的预防和解决缓存穿透： 认识 缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。解决办法： 对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃。还有最常见的则是采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap
redis缓存穿透和缓存雪崩的原因和解决办法
东城庞太师
05-31 607
缓存穿透： 缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。 解决方案： 布隆过滤器 布隆过滤器是一种数据结构，垃圾网站和正常网站加起来全世界据统计也有几十亿个。网警要过滤这些垃圾网站，总不能到数据库里面一个一个去比较吧，这就可以使用布隆过滤器。假设我们存储一亿个垃圾网站地址。
Redis的三种集群方式+穿透与雪崩的预防和解决
cc_05207的博客
06-19 524
Redis的三种集群方式概述 1、主从复制 原理 从服务器连接主服务器，发送SYNC（同步）命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令； 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照； 主服务器快照发送完毕后开始向从服务器...
redis缓存穿透、雪崩、击穿及解决方案
m0_38087224的博客
11-28 152
Redis缓存穿透和缓存雪崩以及解决方案（问题结构清晰） https://www.cnblogs.com/George1994/p/10668889.html REDIS缓存穿透，缓存击穿，缓存雪崩原因+解决方案（解决方案更详细） https://www.cnblogs.com/xichji/p/11286443.html ...
如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
wq_wangqiang的博客
04-06 1196
如何解决Redis缓存雪崩、缓存穿透、缓存并发
如何解决Redis缓存雪崩、击穿与穿透
m0_71777195的博客
11-04 1万+
缓存雪崩是指大量的请求无法命中Redis中的缓存数据，也就是在Redis找不到数据了，那业务系统只能到数据库中查询，进而导致所有的请求都发送到了数据库。如下图所示：数据库并不像Redis能处理大量请求，由缓存雪崩导致的请求激增必须会导致数据库所在宕机，这样势必会影响业务系统，所以如果发生缓存雪崩，对于业务系统肯定是致命的。
宕机了，Redis 如何避免数据丢失？
a410974689的博客
02-02 610
如果有人问你："你会把 Redis 用在什么业务场景下？"我想你大概率会说："我会把它当作缓存使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。"没错，这确实是 Redis 的一个普遍使用场景，但是，这里也有一个绝对不能忽略的问题：一旦服务器宕机，内存中的数据将全部丢失。目前，Redis 的持久化主要有两大机制，即 AOF（Append Only File）日志和 RDB（Redis DataBase） 快照。说到日志，我们比较熟悉的是数据库的写前日志（Write A
吊打面试官之缓存雪崩、击穿、穿透
帅枫的博客
11-08 2033
我们知道缓存雪崩、击穿、穿透是缓存异常最常见的三个问题，一旦这三个问题发生，会导致大量的请求积压到数据库层。如果请求的并发量很大，就会导致数据库宕机或是故障，这肯定是我们不能容忍的。今天我就带你彻底剖析这三个问题，让你知道这三个问题的表现、诱发原因以及解决方法，废话不多说，直接开始。 缓存雪崩 缓存雪崩是指大量的应用请求无法在 Redis 缓存中进行处理，紧接着，应用将大量请求发送到数据库层，导致数据库层的压力激增。 缓存雪崩一般是由下面这两个原因导致的，我们慢慢来看。 第一个原因是：缓存中有大量数据同时
深入浅出 Redis 持久化机制
weixin_45583158的博客
12-12 694
导读：Redis是最常用的高性能Nosql内存数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了持久化方案，将内存中的数据保存到磁盘中，...
redis缓存击穿穿透雪崩
02-23
缓存穿透是指查询一个不存在的数据，由于缓存中没有该数据，所以每次请求都会直接访问数据库。这种情况下，可以通过在缓存中设置空值或者布隆过滤器来解决。 3. 缓存雪崩： 缓存雪崩是指在某个时间段内，缓存中的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有恒则成

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值