面试前必知Redis面试题—缓存雪崩+穿透+缓存与数据库双写一致问题

Redis 缓存穿透、击穿、雪崩 的区别与解决方案 在高并发环境下,Redis 缓存的三大问题(击穿、穿透与雪崩)可能导致数据库崩溃,本文分析了这些问题的具体表现及解决方法,介绍了多种优化技术,如缓存预热、分布式锁和错开过期时间等。 阅读详情

今天来分享一下Redis几道常见的面试题:

  • 如何解决缓存雪崩?

  • 如何解决缓存穿透?

  • 如何保证缓存与数据库双写时一致的问题?

一、缓存雪崩

1.1什么是缓存雪崩?

回顾一下我们为什么要用缓存(Redis):

现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了。

在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化

如果缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间内,这些缓存同时失效,全部请求到数据库中。

这就是缓存雪崩:

  • Redis挂掉了,请求全部走数据库。

  • 对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。

缓存雪崩如果发生了,很可能就把我们的数据库搞垮,导致整个服务瘫痪!

1.2如何解决缓存雪崩?

对于“对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。”这种情况,非常好解决:

  • 解决方法:在缓存的时候给过期时间加上一个随机值,这样就会大幅度的减少缓存在同一时间过期。

对于“Redis挂掉了,请求全部走数据库”这种情况,我们可以有以下的思路:

  • 事发前:实现Redis的高可用(主从架构+Sentinel 或者Redis Cluster),尽量避免Redis挂掉这种情况发生。

  • 事发中:万一Redis真的挂了,我们可以设置本地缓存(ehcache)+限流(hystrix),尽量避免我们的数据库被干掉(起码能保证我们的服务还是能正常工作的)

  • 事发后:redis持久化,重启后自动从磁盘上加载数据,快速恢复缓存数据。

二、缓存穿透

2.1什么是缓存穿透

比如,我们有一张数据库表,ID都是从1开始的(正数):

但是可能有黑客想把我的数据库搞垮,每次请求的ID都是负数。这会导致我的缓存就没用了,请求全部都找数据库去了,但数据库也没有这个值啊,所以每次都返回空出去。

缓存穿透是指查询一个一定不存在的数据。由于缓存不命中,并且出于容错考虑,如果从数据库查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,失去了缓存的意义。

这就是缓存穿透:

  • 请求的数据在缓存大量不命中,导致请求走数据库。

缓存穿透如果发生了,也可能把我们的数据库搞垮,导致整个服务瘫痪!

2.1如何解决缓存穿透?

解决缓存穿透也有两种方案:

  • 由于请求的参数是不合法的(每次都请求不存在的参数),于是我们可以使用布隆过滤器(BloomFilter)或者压缩filter提前拦截,不合法就不让这个请求到数据库层!

  • 当我们从数据库找不到的时候,我们也将这个空对象设置到缓存里边去。下次再请求的时候,就可以从缓存里边获取了。

  • 这种情况我们一般会将空对象设置一个较短的过期时间。

三、缓存与数据库双写一致

3.1对于读操作,流程是这样的

上面讲缓存穿透的时候也提到了:如果从数据库查不到数据则不写入缓存。

一般我们对读操作的时候有这么一个固定的套路:

  • 如果我们的数据在缓存里边有,那么就直接取缓存的。

  • 如果缓存里没有我们想要的数据,我们会先去查询数据库,然后将数据库查出来的数据写到缓存中。

  • 最后将数据返回给请求

3.2什么是缓存与数据库双写一致问题?

如果仅仅查询的话,缓存的数据和数据库的数据是没问题的。但是,当我们要更新时候呢?各种情况很可能就造成数据库和缓存的数据不一致了。

  • 这里不一致指的是:数据库的数据跟缓存的数据不一致

padding: 0px; max-width: 100%; 
box-sizing: border-box !important;
 word-wrap: break-word !important; l
ine-height: inherit; 
text-align: center; 
color: rgb(153, 153, 153); 
font-size: 0.7em;">数据库和缓存的数据不一致</figcaption> 

从理论上说,只要我们设置了键的过期时间,我们就能保证缓存和数据库的数据最终是一致的。因为只要缓存数据过期了,就会被删除。随后读的时候,因为缓存里没有,就可以查数据库的数据,然后将数据库查出来的数据写入到缓存中。

除了设置过期时间,我们还需要做更多的措施来尽量避免数据库与缓存处于不一致的情况发生。

3.3对于更新操作

一般来说,执行更新操作时,我们会有两种选择:

  • 先操作数据库,再操作缓存

  • 先操作缓存,再操作数据库

首先,要明确的是,无论我们选择哪个,我们都希望这两个操作要么同时成功,要么同时失败。所以,这会演变成一个分布式事务的问题。

所以,如果原子性被破坏了,可能会有以下的情况:

  • 操作数据库成功了,操作缓存失败了。

  • 操作缓存成功了,操作数据库失败了。

如果第一步已经失败了,我们直接返回Exception出去就好了,第二步根本不会执行。

下面我们具体来分析一下吧。

3.3.1操作缓存

操作缓存也有两种方案:

  • 更新缓存

  • 删除缓存

一般我们都是采取删除缓存缓存策略的,原因如下:

  1. 高并发环境下,无论是先操作数据库还是后操作数据库而言,如果加上更新缓存,那就更加容易导致数据库与缓存数据不一致问题。(删除缓存直接和简单很多)

  2. 如果每次更新了数据库,都要更新缓存【这里指的是频繁更新的场景,这会耗费一定的性能】,倒不如直接删除掉。等再次读取时,缓存里没有,那我到数据库找,在数据库找到再写到缓存里边(体现懒加载)

基于这两点,对于缓存在更新时而言,都是建议执行删除操作!

3.3.2先更新数据库,再删除缓存

正常的情况是这样的:

  • 先操作数据库,成功;

  • 再删除缓存,也成功;

如果原子性被破坏了:

  • 第一步成功(操作数据库),第二步失败(删除缓存),会导致数据库里是新数据,而缓存里是旧数据。

  • 如果第一步(操作数据库)就失败了,我们可以直接返回错误(Exception),不会出现数据不一致。

如果在高并发的场景下,出现数据库与缓存数据不一致的概率特别低,也不是没有:

  • 缓存刚好失效

  • 线程A查询数据库,得一个旧值

  • 线程B将新值写入数据库

  • 线程B删除缓存

  • 线程A将查到的旧值写入缓存

要达成上述情况,还是说一句概率特别低:

因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多,而且还要锁表,而读操作必需在写操作前进入数据库操作,而又要晚于写操作更新缓存,所有的这些条件都具备的概率基本并不大。

对于这种策略,其实是一种设计模式:Cache Aside Pattern

删除缓存失败的解决思路:

  • 将需要删除的key发送到消息队列中

  • 自己消费消息,获得需要删除的key

  • 不断重试删除操作,直到成功

3.3.3先删除缓存,再更新数据库

正常情况是这样的:

  • 先删除缓存,成功;

  • 再更新数据库,也成功;

如果原子性被破坏了:

  • 第一步成功(删除缓存),第二步失败(更新数据库),数据库和缓存的数据还是一致的。

  • 如果第一步(删除缓存)就失败了,我们可以直接返回错误(Exception),数据库和缓存的数据还是一致的。

看起来是很美好,但是我们在并发场景下分析一下,就知道还是有问题的了:

  • 线程A删除了缓存

  • 线程B查询,发现缓存已不存在

  • 线程B去数据库查询得到旧值

  • 线程B将旧值写入缓存

  • 线程A将新值写入数据库

所以也会导致数据库和缓存不一致的问题。

并发下解决数据库与缓存不一致的思路:

  • 将删除缓存、修改数据库、读取缓存等的操作积压到队列里边,实现串行化。

3.4对比两种策略

我们可以发现,两种策略各自有优缺点:

  • 先删除缓存,再更新数据库

  • 在高并发下表现不如意,在原子性被破坏时表现优异

  • 先更新数据库,再删除缓存(Cache Aside Pattern设计模式)

  • 在高并发下表现优异,在原子性被破坏时表现不如意#总结

总结【精华】

点击免费获取Java学习笔记,面试,文档以及视频

针对于上面的Redis面试题我总结出了互联网公司java程序员面试涉及到的绝大部分面试题及答案做成了文档和架构视频资料免费分享给大家(还包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术资料),希望能帮助到您面试前的复习且找到一个好的工作,也节省大家在网上搜索资料的时间来学习,也可以关注我一下以后会有更多干货分享。

 

Redis经典面试题:你知道缓存击穿、缓存穿透、缓存雪崩吗? 又快到一年一度的金三银四了,大家在面试的时候一定被问到过Redis缓存问题吧。可能有些初学者对“缓存击穿、缓存穿透、缓存雪崩”这几个名词感到陌生,或者了解过但是一时半会没办法理解。没关系,希望通过本文可以让你轻松理解这些概念并掌握其解决方案,然后在即将到来的金三银四面试中对你有所帮助。面试时不要被花里胡哨的问题迷惑住,要思考一下问题的本质。当缓存没命中或失效,并发的请求打到数据库怎么办?\color{blue}{当缓存没命中或失效,并发的请求打到数据库怎么办? 阅读详情

相关推荐

Redis缓存雪崩、击穿、穿透、双写一致性、并发竞争、热点key重建优化、BigKey的优化 等解决方案

在Redis中,一个字符串最大512MB,一个二级数据结构(例如hash、list、set、zset)可以存储大约40亿个(2^32-1)个元素,但实际中如果下面两种情况,我就会认为它是bigkey。(1). 字符串类型:它的big体现在单个value值很大,一般认为超过10KB就是bigkey。(2). 非字符串类型:哈希、列表、集合、有序集合,它们的big体现在元素个数太多。一般来说,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。

Linuxhus的博客 2254

redis缓存雪崩、缓存穿透、数据库和redis数据一致性

一、缓存雪崩 回顾一下我们为什么要用缓存(Redis):减轻数据库压力或尽可能少的访问数据库。 在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化 如果缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间...

weixin_30940783的博客 1157

Redis篇-使用场景与面试技巧【缓存问题】

Redis作为高性能的缓存数据库,广泛应用于多种场景,但也面临缓存穿透、击穿、雪崩等问题。缓存穿透指查询不存在的数据导致数据库压力增大,可通过缓存空数据或使用布隆过滤器解决。缓存击穿发生在热点数据过期时,大量请求直接访问数据库,可通过互斥锁或逻辑过期策略解决。缓存雪崩则是大量缓存同时失效或Redis服务宕机,可通过设置随机过期时间、使用Redis集群或添加降级限流策略来应对。此外,Redis的双写一致性、持久化策略(RDB和AOF)、数据过期策略(惰性删除和定期删除)以及数据淘汰策略(如LRU、LFU等)也

qq_65250839的博客 1204

redis与DB数据同步问题

最近做的一个项目中很多地方用到了redis,其中纠结了一下redis的数据持久化问题,毕竟是缓存,数据随时都有可能丢失,虽然概率不大,况且redis还会将数据持久到安装路径的一个文件中,但还是要保证缓存数据与持久化数据的一致性,这个问题总结了一下(看到了一个不错的博文),其实就是读和写,还有就是要注意谁先谁后的问题。   Redis是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类key-value存储的不足,在部 分场合可以对关系数据库起到很好的补充..

果vinegar的博客 459

大华事件检测智能服务器,大华股份:高速公路智能事件检测 解决方案

1方案背景随着我国基础设施建设的飞速发展,公路尤其是高速公路的总里程数年年攀升。交通运输部统计数据显示,截止2017年底全国公路总里程477.35万公里,其中高速公路13.65万公里,位居世界第一。高速公路的运营和管理作为全国交通管理的重要组成部分日益受到严峻挑战,交通拥堵和事故频发已成为高速公路上非常突出的问题。抛洒物、行人、车辆不规则行驶等事件是导致以上结果的重要原因。基于视频分析的高速公路智...

weixin_39523887的博客 1822

瑞芯微RV1126B芯片实战:如何用3Tops NPU打造智能安防摄像头(附配置指南)

本文详细介绍了基于瑞芯微RV1126B芯片构建高性能智能安防摄像头的实战经验。文章深入剖析了其3Tops NPU与独立AI-ISP的协同优势,提供了从硬件选型、开发环境搭建、AI模型部署到系统调优的全流程配置指南,帮助开发者充分发挥芯片潜力,实现高效、稳定的智能视觉应用。

weixin_29281915的博客 442

Oracle数据同步解决方案之databus

[list][*][b]概述[/b][/list] 目前了解到基于Oracle的开源数据同步项目有yugong、databus、SymmetricDS,之前尝试了yugong,很容易上手。使用时需要注意两点:1、物化视图和回表查询对源库会产生比较大的影响;2、每一个表有一个单独的实例去处理整个流程,数据抽取、转换、入库不能分离;3、yugong设计的目的是为了去IOE,做切库使用,多次增量同步确...

sheungxin的博客 2195

从零开始玩转Franka Panda机器人

本文总结了笔者在学习使用Franka Panda机器人时的一些方法和经验总结。

止于至玄 1万+

缓存与数据库双写一致性问题

当该缓存对应的数据需要经过大量的计算过程才能得到时,比如需要访问多张表进行统计计算。那么在写操作中更新缓存的动作将会是一笔不小的开销。【提高响应速度】当写操作较多时,可能也会存在刚更新的缓存还没有被读取到,又再次被更新的情况(这常被称为缓存扰动),显然,这样的更新是白白消耗机器性能的,会导致缓存利用率不高。所以等到读请求未命中缓存时再去更新,也符合懒加载的思路,需要时再进行计算。删除缓存的操作不仅是幂等的,可以在发生异常时重试,而且写-删除和读-更新在语义上更加对称。

weixin_46222920的博客 313

Echarts之风力风速玫瑰图

风力风速玫瑰图前言改进之路代码如下总结导出与导入 前言 今天上班收到任务,我们老大让我研究一下这个“风速风向玫瑰图”,还说这个是百度的雷达图的变异体,于是乎我直接找的雷达图,但是雷达图没有这种柱形的,都是点线,然后我又找了好久,最后突然在echarts官网上面看到了图1-2,才终于有了思路,原来这个图不是雷达图的变异体,而是极坐标系下的堆叠柱状图,于是就开始我的“改进”之路了。 图1-1 改进之路...

qq_38776605的博客 1万+

Node-Red系列教程——NodeRed通过OPC UA读取数据并写入mysql

NodeRed通opcua读取西门子数据并存入mysql

鲸鱼姐的专栏 1万+

Databus核心组件详解:Relay、Client、Bootstrap和Producer

Databus是一个与源无关的分布式变更数据捕获系统,能够实时捕获和传播数据库变更事件,为构建可靠的数据同步和处理系统提供强大支持。本文将深入解析Databus的四大核心组件——Relay、Client、Bootstrap和Producer,帮助您快速掌握这个强大工具的内部工作机制。 ## 一、Relay:事件分发的核心枢纽 🚦 Relay作为Databus的核心组件,承担着事件收集、存储和

gitblog_00034的博客 502

ThreeJS教程:地图案例(包围盒、正投影)

推荐:将加入你的3D工具链。

jianshi2023的博客 1007

Redis缓存雪崩和穿透的解决方法

今天来分享一下Redis几道常见的面试题: 如何解决缓存雪崩? 如何解决缓存穿透? 如何保证缓存与数据库双写时一致的问题? 一、缓存雪崩 1.1什么是缓存雪崩? 回顾一下我们为什么要用缓存(Redis): 现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了。 在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间...

小麦大大博客 3万+

分布式锁特点、以及用python3实现redis分布式锁

以下是 Python3 实现 Redis 分布式锁的详细教程,包含代码示例、原理说明及最佳实践。

数据知道的博客 2万+

8.5华为OD机试真题 新系统 - 最长不连续子串 (Java/Py/C/C++/Js/Go)

8.5华为OD机试真题 新系统 - 最长不连续子串 (Java/Py/C/C++/Js/Go)

算法大师! 622

Redis必问面试题,看完还不懂请来打我(缓存穿透,缓存击穿,缓存雪崩,一致性问题,热key,大key)

如果都是1,则被检元素很可能在。缓存在某个时间点过期的时候,恰好在这个时间点对这个Key有大量的并发请求过来,这些请求发现缓存过期一般会从数据库中加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端DB压垮。缺点:会造成写一致问题,当数据库数据发生更新时,缓存中的数据不会及时更新,这样会造成数据库中的数据与缓存中的数据的不一致,应用会从缓存中读取到脏数据。可采用延时双删策略处理。在缓存之前在加一层布隆过滤器,在查询的时候先去布隆过滤器查询 key 是否存在,如果不存在就直接返回,存在再查缓存和DB。

零一的博客 4892

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Redis面试进阶指南:缓存雪崩、穿透与更新策略深度解析

回顾一下我们为什么要用缓存(Redis):现在有个问题,

mxt51220的博客 1290

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Redis常见面试题(一):Redis使用场景,缓存、分布式锁;缓存穿透、缓存击穿、缓存雪崩;双写一致,Canal,Redis持久化,数据过期策略,数据淘汰策略

Redis使用场景,缓存、分布式锁;缓存穿透、缓存击穿、缓存雪崩;先删除缓存还是先修改数据库,双写一致,Canal,Redis持久化,数据过期策略,数据淘汰策略

qq_44700578的博客 2018

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

面试-Redis篇-Redis雪崩、穿透、击穿

面试官:关于Redis雪崩,穿透,击穿你是怎么理解的? Redis 雪崩: 雪崩就是指缓存中大批量热点数据过期后系统涌入大量查询请求,因为大部分数据在Redis层已经失效,请求渗透到数据库层,大批量请求犹如洪水一般涌入,引起数据库压力造成查询堵塞甚至宕机。 解决办法: 将缓存失效时间分散开,比如每个key的过期时间是随机,防止同一时间大量数据过期现象发生,这样不会出现同一时间全部请求都落在数据库层,如果缓存数据库是分布式部署,将热点数据均匀分布在不同Redis和数据库中,有效分担压力,别一个人扛。

张罗丰的博客 2932

阿里面试:如何彻底解决 缓存击穿、缓存穿透、缓存雪崩三大问题?

阿里面试:缓存击穿、缓存穿透、缓存雪崩 3大问题,如何彻底解决?(本题)Redis脑裂,如何预防?Redis锁如何续期?Redis锁超时,任务没完怎么办?京东面试:Redis分布式 锁失效了,怎么办?阿里面试:如何 彻底解决Redis热点Key问题?遇到上面的面试题,可以按照尼恩的深度 梳理,进行 深度回答,可以充分展示一下大家雄厚的 “技术肌肉”,让面试官爱到 “不能自已、口水直流”,然后实现”offer直提”。在面试之前,建议大家系统化的刷一波 5000页《尼恩Java面试宝典PDF。

架构师尼恩 1869

Redis系列学习文章分享---第四篇(Redis快速入门之Java客户端--商户查询缓存+更新+双写一致+穿透+雪崩+击穿+工具封装)

缓存是一种临时存储机制,用于加速数据访问速度。在商户查询场景中,我们可以将经常被查询的商户信息存储在Redis缓存中,从而避免频繁访问数据库,提高查询效率。通过本文的介绍,相信大家对Redis缓存在商户查询场景中的应用有了更深入的了解。使用合适的缓存策略和技术手段,可以有效提高系统的性能和稳定性。

私聊前往站内信:https://i.youkuaiyun.com/#/msg/chat/weixin_44976692 2万+

这么简单的 Redis 面试题都不懂,怎么拿offer?

来源:mp.weixin.qq.com/s/daBkliC8dAT_zYyoLiS7WA随着系统访问量的提高,复杂度的提升,响应性能成为一个重点的关注点。而缓存的使用成为...

Java技术栈,分享最主流的Java技术 1410

Redis-如何保证缓存与数据库的双写一致性?

面试题 如何保证缓存与数据库的双写一致性? 面试官心理分析 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 面试题剖析 一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求“缓存+数据库” 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去。 串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低,用比正常情况下多几倍的机器.

qq_38261137的博客 4746
上一篇: Java程序员中8种常见的SQL错误用法
下一篇: 死磕设计模式之单例模式,饿汉、懒汉统统搞定
我是小泽呀!
博客等级 码龄7年 119粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值