缓存同步、缓存穿透、缓存击穿、缓存雪崩

最新推荐文章于 2024-09-11 22:24:02 发布
原创 最新推荐文章于 2024-09-11 22:24:02 发布 · 512 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#缓存

本文探讨了缓存同步的不同方式，包括实时同步、准时同步、任务调度更新及binlog日志订阅，并针对缓存穿透、击穿和雪崩等问题提出了相应的解决方案。

目录

一、缓存同步

1、数据实时同步

2、数据准时同步

3、任务调度更新

4、binlog日志订阅

二、缓存穿透

三、缓存击穿

四、缓存雪崩

一、缓存同步

缓存同步问题：

1、数据实时同步

这种数据同步是增量、主动、强一致性。

2、数据准时同步

这种数据同步是增量、被动、准一致性。

3、任务调度更新

            

4、binlog日志订阅

通过订阅binlog来更新缓存，把我们搭建的消费服务，作为MySQL的一个slave(主从)，订阅binlog，解析出更新内容，然后更新到缓存。
缺点：需单独搭建同步服务，引入binlog同步机制，增加成本。

二、缓存穿透

解决方案：

三、缓存击穿

解决方案：

四、缓存雪崩

解决方案：

 

 

微服务22_多级缓存03：Canal缓存和数据保持一致性
weixin_43989347的博客
04-08 3229
微服务21_多级缓存03：缓存同步一、缓存同步策略介绍Canal二、安装Canal1.开启MySQL主从--》开启binlog2.开启MySQL主从--》设置用户权限3.安装Canal-》创建网络4.安装Canal-》上传.tar文件，load解压5.运行容器三、监听Canal1.引入依赖：2.编写配置：3.修改Item实体类4.编写监听器 （Redis/ jvm缓存同步）测试： 大多数情况下，浏览器查询到的都是缓存数据，如果缓存数据与数据库数据存在较大差异，可能会产生比较严重的后果。 所以我们必须保证数据
Redis的缓存穿透、击穿、雪崩及解决方案
Kris_zwl的博客
06-09 1278
Redis的缓存穿透、击穿、雪崩是缓存机制中常见的问题，它们都可能对系统性能和可用性产生严重影响。通过合理的缓存策略、数据结构设计以及系统架构优化，可以有效地避免这些问题，提高系统的稳定性和性能。
聊聊数据库和缓存同步机制
weixin_33763244的博客
07-24 614
  之前写了三篇关于秒杀的文章，里面提到了通过分布式缓存来缓解数据库压力。最近有朋友私信回复问，缓存和数据库是如何进行同步的，通过大家的问题，让我感到这个点确实可以聊一下，所以今天准备写一写，供大家做一个参考。缓存同步的常用模式缓存同步的模式，可以按照缓存的用途（主要用于读或者写）分为两类：读缓存的同步和写缓存的同步。读缓存的同步：缓存预加载模式提前将数据从数据库加载到缓存，如果数据库有写更新，同...
缓存同步相关问题
一切都会好起来的，即使不在今天
02-09 464
只要使用了缓存就涉及到缓存同步 缓存同步其实就是当缓存的信息发生变化，就是后台对缓存数据进行增删改操作之后，数据库中的数据发生了变化同时要把缓存中的数据对应删除即可。当页面再次请求数据的时候，缓存中不能命中就会从数据库中查询并且添加到缓存中，就实现了缓存同步。 缓存同步分为读缓存同步，和写缓存同步 读缓存同步分为 缓存预加载模式 提前将数据从数据库加载到缓存，如果数据库有写更新，同步更新缓存。在秒...
数据库与缓存数据同步
weixin_44205136的博客
12-12 678
数据同步策略、安装Canal、监听Canal
缓存同步问题
weixin_30588729的博客
03-27 294
当你有多台服务器的时候需要用memcache做数据缓存，讲面临一个如果缓存的数据发生变化更新缓存的问题。缓存的的存储，是前台项目应用，而变更数据是在后台，这是两个独立的项目，当你的缓存存储的是对象，那么在后台变更数据的时候是无法delete掉缓存的数据的，在delete的时候会去查找这个对象在后台项目中是没有这个对象的定义的，所以是无法清理掉的。对于对象无法清理掉，所以可以选择把对象序列化成字...
如何防止Redis 缓存雪崩、缓存穿透、缓存击穿
qq118034951的博客
05-10 3429
缓存异常场景分类 在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景，为了避免异常带来巨大损失，我们需要了解每种异常发生的原因以及解决方案，帮助提升系统可靠性和高可用。 缓存穿透 什么是缓存穿透？ 缓存穿透是指用户请求的数据在缓存中不存在即没有命中，同时在数据库中也不存在，导致用户每次请求该数据都要去数据库中查询一遍，然后返回空。 如果有恶意攻击者不断请求系统中不存在的数据，会导致短时间大量请求落在数据库上，造成数据库压力过大，甚至击垮数据库系统。 缓存穿透常用的解决方案 （1）布隆过滤器（.
Redis缓存雪崩、穿透、击穿、预热及解决方案
八戒的博客
05-24 2042
指在一个高并发的系统中，由于大量的缓存数据在同一时间段内过期或失效，导致大量请求无法从缓存中获取数据，因此大量并发请求可能导致数据库服务器过载，甚至宕机，从而引发整个系统崩溃。一句话，就是查询一条根本没有的记录。它既不存在于redis中，也不存在数据库中。一般我们的查询顺序是先查redis、再查数据库。每次请求最终都会访问到数据库。造成数据库访问压力。这种现象叫缓存穿透。一句话，就是热点key突然失效了，大量请求暴击数据库。关键词：大量请求、同一个热点key、正好失效。
【白话Redis】缓存雪崩、穿透、击穿、失效和热点缓存重建
编程探索与数字构建 | Python与Java之旅
09-11 1411
由缓存机器故障宕机，导致大量请求全部落到数据库，超出了数据库的处理能力极限，进而导致数据库压力增大、宕机的情况。大批量请求缓存和数据库中都不存在的数据，导致数据库压力变大，甚至宕机。某个热点key访问非常频繁，且请求时间比较集中，是高并发场景。当这个key失效的瞬间，大量的请求直接落到数据库，导致数据库压力骤增，甚至宕机。
redis单机和集群Java版、缓存及缓存同步
06-01
缓存、redis安装、redis单机和集群、jedis单机和集群、jedis与spring整合、缓存逻辑、缓存同步、
缓存机制的介绍+缓存数据同步
qq_43418281的博客
08-27 412
当一个借口是被频繁访问的，我要获取的数据不经常被变化。 如果每次访问都通过查询数据库，会导致速度变慢。 解决办法：引入缓存。在第一次查询出来后就找变量缓存出来。第二次被访问时，先去寻找变量中是否存在需要的数据，如果有，直接进行引用，如果没有，就重新发起请求。 我们通过redis数据库进行存储。 步骤： 先尝试从redis中获取数据 如果redis中有数据，则直接返回 如果没有数据，则去数据库中再...
Redis缓存同步
w
07-29 5673
思路： 当后台修改内容信息后（也就数据库信息发生修改时），只需要把redis中缓存的数据删除即可。后台系统不直接操作redis数据库。 可以发布一个服务，当后台对内容信息修改后，调用服务即可。服务的功能就是根据cid删除redis中缓存数据。 Service层接收cid，根据cid调用JedisClient删除redis中缓存的数据。返回结果TaotaoResult@Override pub
（多级缓存）缓存同步
QRLYLETITBE的博客
09-03 797
（多级缓存）缓存同步
【Redis】缓存同步
Decade_Faiz的博客
04-23 1290
Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。Canal ，译意为水道/管道/沟渠，canal是阿里巴巴旗下的一款开源项目，基于Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Canal推送给canal-client的是被修改的这一行数据（row），而我们引入的canal-client则会帮我们把行数据封装到Item实体类中。Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。
redis缓存同步
b_just的博客
03-08 1124
以前自己在学校学习redis的时候还真没想到这么多，上班后看公司的项目代码，发现都是先更新DB，然后删除缓存，而且更新DB后不会立马将DB数据放入缓存，然而我以前不管是查询还是update都是操作完DB后立马放入缓存。。。 扯远了，回到重点，为什么先更新DB后删除缓存呢？听我慢慢道来~ 提出问题 问题场景：当数据出现变化的时候，DB和redis的一致性就显得非常重要！并发的情况下，主要是看场景，和代价，进行选择。 目前主要有两种策略： 先删除缓存后更新DB（用的少，容易产生大量的脏数据） 结论：
猫头虎分享已解决Bug || 缓存同步问题（Cache Synchronization Issue）：CacheSyncError, StaleCacheData
虎头金猫：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，虎哥承诺每年免费为100名C站创作者做账号流量诊断服务！
04-07 1182
亲爱的同行们，我是猫头虎，一个身处运维领域的技术博主。今天，我们要聊聊一个在我们这个领域相当棘手的问题 —— 缓存同步问题，即CacheSyncError和StaleCacheData。这个问题像是一只难以捉摸的小老鼠，让许多运维人员头疼不已。它关系到数据的实时性与一致性，影响着用户体验和系统性能。本文将深入探讨缓存同步的技术细节，提供详细的解决方法，操作命令，以及如何避免此类问题的再次发生。准备好了吗？让我们一起跳入这个技术的深渊，寻找出路。
Redis14-缓存同步
m0_73902080的博客
08-12 1027
缓存数据同步的常见方式有三种：1.设置有效期：给缓存设置有效期，到期后自动删除，再次查询时更新2.同步双写：在修改数据库的同时，直接修改缓存3.异步通知：修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据。
缓存同步策略
mah888的博客
11-28 1251
缓存同步策略 缓存数据同步的常见方式有三种： 设置有效期 给缓存设置有效期，到期后自动删除。再次查询时更新。 - 优点：简单，方便。 - 缺点：时效性差，缓存过期之前可能不一致。 - 场景：更新频率较低，时效性要求低的业务。 同步双写 在修改数据库的同时，直接修改缓存。 - 优点：时效性强，缓存与数据库强一致。 - 缺点：有代码侵入，耦合度高。 - 场景：对一致性，时效性要求较高的缓存数据。 异步通知 修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据。 - 优点：低耦合，可以同时通知多个缓存服务
Redis缓存击穿 穿透 雪崩
最新发布
08-13
### 三级标题：Redis缓存击穿、穿透和雪崩的区别与解决方法 Redis缓存是高并发系统中提高性能的重要工具，但其在特定场景下可能引发缓存击穿、缓存穿透和缓存雪崩等问题。这些问题虽然都与缓存失效有关，但其触发条件和影响范围各不相同，解决方案也各有侧重。 #### 缓存击穿 缓存击穿指的是某个热点数据在缓存中过期后，短时间内有大量请求直接访问数据库，导致数据库压力骤增[^2]。这种情况通常发生在访问频率极高的数据上，例如双十一期间的商品信息。解决缓存击穿的方法包括： - **永不过期策略**：将热点数据设置为永不过期，或者通过后台异步更新机制来刷新缓存，避免因过期而引发数据库压力[^2]。 - **互斥锁（Mutex）**：当缓存未命中时，第一个线程获取互斥锁并查询数据库，其他线程等待锁释放后再从缓存中获取数据，从而避免并发请求直接访问数据库[^3]。 #### 缓存穿透 缓存穿透是指查询一个既不在缓存也不在数据库中的数据，导致每次请求都直接访问数据库[^1]。攻击者可以通过构造不存在的查询来恶意攻击数据库。常见的解决方法有： - **布隆过滤器（Bloom Filter）**：在请求到达数据库之前，使用布隆过滤器判断数据是否存在。如果布隆过滤器返回不存在，则直接返回错误，不查询数据库[^1]。 - **缓存空值（Null Value）**：对于查询结果为空的情况，可以将空值也缓存一段时间，并设置较短的过期时间，以减少对数据库的无效查询[^1]。 #### 缓存雪崩 缓存雪崩是指大量缓存数据在同一时间过期，或者Redis服务宕机，导致所有请求都转发到数据库，可能引发数据库崩溃[^1]。这种情况通常发生在系统时间同步或缓存集中失效时。解决缓存雪崩的方法包括： - **分散过期时间**：为缓存数据设置随机的过期时间，避免所有缓存同时失效。例如，在基础过期时间上加上一个随机值。 - **集群部署与高可用**：通过Redis集群部署和主从复制机制，确保即使某个节点宕机，其他节点仍能提供服务，从而避免缓存雪崩[^1]。 - **降级熔断机制**：当Redis服务不可用时，系统可以启用降级模式，例如返回默认值或缓存中的历史数据，以减轻数据库压力[^1]。 #### 总结 缓存击穿、穿透和雪崩虽然都与缓存失效有关，但它们的触发条件和影响范围不同： - **缓存击穿**：热点数据过期后引发大量请求访问数据库。 - **缓存穿透**：查询不存在的数据，导致请求直接访问数据库。 - **缓存雪崩**：大量缓存同时失效或Redis服务宕机，导致请求全部转发到数据库。 针对不同的问题，需要采取相应的解决方案，例如互斥锁、布隆过滤器、分散过期时间和高可用部署等。 ```java // 示例：使用互斥锁解决缓存击穿问题 public String getData(String key) { String data = redis.get(key); if (data == null) { synchronized (this) { data = redis.get(key); if (data == null) { data = db.query(key); // 从数据库中查询数据 redis.set(key, data, 60); // 设置缓存 } } } return data; } ``` ```java // 示例：使用布隆过滤器解决缓存穿透问题 BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), 1000000); public String getDataWithBloomFilter(String key) { if (!bloomFilter.mightContain(key)) { return "Key does not exist"; } String data = redis.get(key); if (data == null) { data = db.query(key); redis.set(key, data, 60); } return data; } ``` ```java // 示例：分散过期时间解决缓存雪崩问题 public void setCacheWithRandomExpire(String key, String value) { int expireTime = 60 + new Random().nextInt(20); // 基础过期时间加上随机值 redis.setex(key, expireTime, value); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值