缓存同步、缓存穿透、缓存击穿、缓存雪崩

最新推荐文章于 2024-09-11 22:24:02 发布
最新推荐文章于 2024-09-11 22:24:02 发布
阅读量495 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Java 文章标签： 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangww3/article/details/109902340
本文探讨了缓存同步的不同方式，包括实时同步、准时同步、任务调度更新及binlog日志订阅，并针对缓存穿透、击穿和雪崩等问题提出了相应的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、缓存同步

1、数据实时同步

2、数据准时同步

3、任务调度更新

4、binlog日志订阅

二、缓存穿透

三、缓存击穿

四、缓存雪崩

一、缓存同步

缓存同步问题：

1、数据实时同步

这种数据同步是增量、主动、强一致性。

2、数据准时同步

这种数据同步是增量、被动、准一致性。

3、任务调度更新

            

4、binlog日志订阅

通过订阅binlog来更新缓存，把我们搭建的消费服务，作为MySQL的一个slave(主从)，订阅binlog，解析出更新内容，然后更新到缓存。
缺点：需单独搭建同步服务，引入binlog同步机制，增加成本。

二、缓存穿透

解决方案：

三、缓存击穿

解决方案：

四、缓存雪崩

解决方案：

 

 

Redis的缓存穿透、击穿、雪崩及解决方案
Kris_zwl的博客
06-09 1101
Redis的缓存穿透、击穿、雪崩是缓存机制中常见的问题，它们都可能对系统性能和可用性产生严重影响。通过合理的缓存策略、数据结构设计以及系统架构优化，可以有效地避免这些问题，提高系统的稳定性和性能。
聊聊数据库和缓存同步机制
weixin_33763244的博客
07-24 562
  之前写了三篇关于秒杀的文章，里面提到了通过分布式缓存来缓解数据库压力。最近有朋友私信回复问，缓存和数据库是如何进行同步的，通过大家的问题，让我感到这个点确实可以聊一下，所以今天准备写一写，供大家做一个参考。缓存同步的常用模式缓存同步的模式，可以按照缓存的用途（主要用于读或者写）分为两类：读缓存的同步和写缓存的同步。读缓存的同步：缓存预加载模式提前将数据从数据库加载到缓存，如果数据库有写更新，同...
缓存同步相关问题
一切都会好起来的，即使不在今天
02-09 369
只要使用了缓存就涉及到缓存同步 缓存同步其实就是当缓存的信息发生变化，就是后台对缓存数据进行增删改操作之后，数据库中的数据发生了变化同时要把缓存中的数据对应删除即可。当页面再次请求数据的时候，缓存中不能命中就会从数据库中查询并且添加到缓存中，就实现了缓存同步。 缓存同步分为读缓存同步，和写缓存同步 读缓存同步分为 缓存预加载模式 提前将数据从数据库加载到缓存，如果数据库有写更新，同步更新缓存。在秒...
数据库与缓存数据同步
weixin_44205136的博客
12-12 586
数据同步策略、安装Canal、监听Canal
微服务22_多级缓存03：Canal缓存和数据保持一致性
weixin_43989347的博客
04-08 3115
微服务21_多级缓存03：缓存同步一、缓存同步策略介绍Canal二、安装Canal1.开启MySQL主从--》开启binlog2.开启MySQL主从--》设置用户权限3.安装Canal-》创建网络4.安装Canal-》上传.tar文件，load解压5.运行容器三、监听Canal1.引入依赖：2.编写配置：3.修改Item实体类4.编写监听器 （Redis/ jvm缓存同步）测试： 大多数情况下，浏览器查询到的都是缓存数据，如果缓存数据与数据库数据存在较大差异，可能会产生比较严重的后果。 所以我们必须保证数据
如何防止Redis 缓存雪崩、缓存穿透、缓存击穿
qq118034951的博客
05-10 3376
缓存异常场景分类 在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景，为了避免异常带来巨大损失，我们需要了解每种异常发生的原因以及解决方案，帮助提升系统可靠性和高可用。 缓存穿透 什么是缓存穿透？ 缓存穿透是指用户请求的数据在缓存中不存在即没有命中，同时在数据库中也不存在，导致用户每次请求该数据都要去数据库中查询一遍，然后返回空。 如果有恶意攻击者不断请求系统中不存在的数据，会导致短时间大量请求落在数据库上，造成数据库压力过大，甚至击垮数据库系统。 缓存穿透常用的解决方案 （1）布隆过滤器（.
【白话Redis】缓存雪崩、穿透、击穿、失效和热点缓存重建
编程探索与数字构建 | Python与Java之旅
09-11 1262
由缓存机器故障宕机，导致大量请求全部落到数据库，超出了数据库的处理能力极限，进而导致数据库压力增大、宕机的情况。大批量请求缓存和数据库中都不存在的数据，导致数据库压力变大，甚至宕机。某个热点key访问非常频繁，且请求时间比较集中，是高并发场景。当这个key失效的瞬间，大量的请求直接落到数据库，导致数据库压力骤增，甚至宕机。
Redis缓存雪崩、穿透、击穿、预热及解决方案
八戒的博客
05-24 1918
指在一个高并发的系统中，由于大量的缓存数据在同一时间段内过期或失效，导致大量请求无法从缓存中获取数据，因此大量并发请求可能导致数据库服务器过载，甚至宕机，从而引发整个系统崩溃。一句话，就是查询一条根本没有的记录。它既不存在于redis中，也不存在数据库中。一般我们的查询顺序是先查redis、再查数据库。每次请求最终都会访问到数据库。造成数据库访问压力。这种现象叫缓存穿透。一句话，就是热点key突然失效了，大量请求暴击数据库。关键词：大量请求、同一个热点key、正好失效。
缓存同步问题
weixin_30588729的博客
03-27 284
当你有多台服务器的时候需要用memcache做数据缓存，讲面临一个如果缓存的数据发生变化更新缓存的问题。缓存的的存储，是前台项目应用，而变更数据是在后台，这是两个独立的项目，当你的缓存存储的是对象，那么在后台变更数据的时候是无法delete掉缓存的数据的，在delete的时候会去查找这个对象在后台项目中是没有这个对象的定义的，所以是无法清理掉的。对于对象无法清理掉，所以可以选择把对象序列化成字...
redis单机和集群Java版、缓存及缓存同步
06-01
缓存、redis安装、redis单机和集群、jedis单机和集群、jedis与spring整合、缓存逻辑、缓存同步、
缓存机制的介绍+缓存数据同步
qq_43418281的博客
08-27 396
当一个借口是被频繁访问的，我要获取的数据不经常被变化。 如果每次访问都通过查询数据库，会导致速度变慢。 解决办法：引入缓存。在第一次查询出来后就找变量缓存出来。第二次被访问时，先去寻找变量中是否存在需要的数据，如果有，直接进行引用，如果没有，就重新发起请求。 我们通过redis数据库进行存储。 步骤： 先尝试从redis中获取数据 如果redis中有数据，则直接返回 如果没有数据，则去数据库中再...
Redis缓存同步
w
07-29 5653
思路： 当后台修改内容信息后（也就数据库信息发生修改时），只需要把redis中缓存的数据删除即可。后台系统不直接操作redis数据库。 可以发布一个服务，当后台对内容信息修改后，调用服务即可。服务的功能就是根据cid删除redis中缓存数据。 Service层接收cid，根据cid调用JedisClient删除redis中缓存的数据。返回结果TaotaoResult@Override pub
（多级缓存）缓存同步
QRLYLETITBE的博客
09-03 761
（多级缓存）缓存同步
【Redis】缓存同步
Decade_Faiz的博客
04-23 1203
Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。Canal ，译意为水道/管道/沟渠，canal是阿里巴巴旗下的一款开源项目，基于Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Canal推送给canal-client的是被修改的这一行数据（row），而我们引入的canal-client则会帮我们把行数据封装到Item实体类中。Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。
redis缓存同步
b_just的博客
03-08 1105
以前自己在学校学习redis的时候还真没想到这么多，上班后看公司的项目代码，发现都是先更新DB，然后删除缓存，而且更新DB后不会立马将DB数据放入缓存，然而我以前不管是查询还是update都是操作完DB后立马放入缓存。。。 扯远了，回到重点，为什么先更新DB后删除缓存呢？听我慢慢道来~ 提出问题 问题场景：当数据出现变化的时候，DB和redis的一致性就显得非常重要！并发的情况下，主要是看场景，和代价，进行选择。 目前主要有两种策略： 先删除缓存后更新DB（用的少，容易产生大量的脏数据） 结论：
猫头虎分享已解决Bug || 缓存同步问题（Cache Synchronization Issue）：CacheSyncError, StaleCacheData
虎头金猫：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，虎哥承诺每年免费为100名C站创作者做账号流量诊断服务！
04-07 1071
亲爱的同行们，我是猫头虎，一个身处运维领域的技术博主。今天，我们要聊聊一个在我们这个领域相当棘手的问题 —— 缓存同步问题，即CacheSyncError和StaleCacheData。这个问题像是一只难以捉摸的小老鼠，让许多运维人员头疼不已。它关系到数据的实时性与一致性，影响着用户体验和系统性能。本文将深入探讨缓存同步的技术细节，提供详细的解决方法，操作命令，以及如何避免此类问题的再次发生。准备好了吗？让我们一起跳入这个技术的深渊，寻找出路。
Redis14-缓存同步
m0_73902080的博客
08-12 973
缓存数据同步的常见方式有三种：1.设置有效期：给缓存设置有效期，到期后自动删除，再次查询时更新2.同步双写：在修改数据库的同时，直接修改缓存3.异步通知：修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据。
缓存同步策略
mah888的博客
11-28 1221
缓存同步策略 缓存数据同步的常见方式有三种： 设置有效期 给缓存设置有效期，到期后自动删除。再次查询时更新。 - 优点：简单，方便。 - 缺点：时效性差，缓存过期之前可能不一致。 - 场景：更新频率较低，时效性要求低的业务。 同步双写 在修改数据库的同时，直接修改缓存。 - 优点：时效性强，缓存与数据库强一致。 - 缺点：有代码侵入，耦合度高。 - 场景：对一致性，时效性要求较高的缓存数据。 异步通知 修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据。 - 优点：低耦合，可以同时通知多个缓存服务
redis模拟缓存击穿穿透雪崩
最新发布
12-28
### Redis 中缓存击穿、穿透和雪崩现象及其解决方案 #### 缓存击穿 当一个热点 key 的过期时间设置不合理，恰好在这个 key 过期的时候有大量的请求并发访问这个 key，则这些请求会全部打到数据库上造成瞬时压力过大。这种情况被称为缓存击穿。 为了防止这种状况的发生，可以采用如下措施： - 设置永不过期的时间戳来避免大量查询直接冲击 DB[^1]。 ```python import time from redis import Redis def get_data_with_fallback(redis_client, key): data = redis_client.get(key) if not data: with distributed_lock(key): # 使用分布式锁确保只有一个线程能执行这段代码 data = fetch_from_db(key) # 假设这是获取数据的方法 if data is None: redis_client.setex(key, "null", timeout=60) # 存储空值并设定较短的有效期 else: redis_client.set(key, data) return data ``` #### 缓存穿透 对于不存在的数据，如果每次都被查到 Redis 和底层存储中均未命中，那么恶意攻击者可能利用此漏洞频繁发起非法请求，从而导致服务器资源浪费甚至崩溃。这便是所谓的缓存穿透问题。 针对这一情况，建议采取以下方法之一或组合使用多种方式加以防范： - 利用布隆过滤器提前判断是否存在该条记录； - 对于查询结果为空的情况也进行缓存处理，并给予一定时限内的有效期； ```python class CacheLayer: def __init__(self, bloom_filter, redis_client): self.bloom_filter = bloom_filter self.redis_client = redis_client def check_and_fetch(self, item_id): if not self.bloom_filter.contains(item_id.encode()): return {"status": False} cached_result = self.redis_client.get(f'item:{item_id}') if cached_result is None: actual_result = database_query(item_id) # 获取真实数据逻辑 if not actual_result["exists"]: self.redis_client.setex( f'missed_item:{item_id}', 'false', ex=300) # 将缺失项加入缓存一段时间 elif isinstance(actual_result['data'], dict): self.redis_client.hmset(f'item:{item_id}', actual_result['data']) return actual_result return {'status': True, **json.loads(cached_result)} ``` #### 缓存雪崩 在同一时刻有大批量的 cache 同步失效，进而引发大量的 db 查询操作，最终可能导致整个系统瘫痪。这就是所说的缓存雪崩事件。 为了避免此类事故的发生，推荐实施下列策略： - 实施主从复制架构下的 Redis 高可用集群部署方案，以便在主节点发生故障时自动切换至备用节点继续提供服务[^2]； - 给不同类型的缓存配置不同的过期间隔，使得它们不会集中在同一时间段内到期； - 应用限流算法控制流量峰值，减轻突发情况下对后端的压力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值