三级缓存架构和分布式数据一致性问题解决方案

本文探讨了解决热点数据Redis与MySQL双写不一致问题,通过堆队列实现读写互斥顺序执行。同时,介绍了针对时效性低的数据采用的异步解决方案,利用三级缓存架构(Nginx、Redis Cluster、JVM堆内存)和LRU算法。在分布式环境中,通过Nginx的双层架构和Zookeeper分布式锁来避免并发冲突和资源浪费。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

代码地地址:item-service 和 casche-service

1、解决热点数据 redis 与 mysql 数据双写不一致的问题

背景
执行查询操作:(懒加载方案,用的时候才加载)

  1. 客户端服务直接查询 redis 集群,如果集群里面有就直接返回信息到客户端。
  2. 如果 redis 集群里面没有,就去商品服务里面查询。
  3. 商品服务直接去 mysql 里面查询,如果没有就返回空。
  4. 如果有就更新到 redis服务。然后再去 redis 服务上查询返回信息到客户端。

执行更新操作:

  1. 客户端服务更新了商品信息,发送请求到商品服务。
  2. 商品服务先删除 redis 缓存信息,然后执行 mysql 数据更新操作。

问题:当并发量非常高的时候会出现当一个“更新操作”执行到删除缓存后还没更新DB前的时候,这时有一个“查询操作”进来时发现缓存里面没有信息就去DB里面查询到了信息然后写进缓存,然后“更新操作”把刚写进缓存的数据删了。另一种情况是当“查询操作”查到旧数据准备写进缓存中时,有一个“更新操作”把缓存中数据删了(其实缓存中是空数据),然后“查询操作”把旧数据更新到了缓存里,这时就出现了数据一致性问题

解决方案:采用堆队列的方案,在堆内存中开若干有界阻塞队列,使商品信息按照某id路由均分到所有队列中,实现读写互斥的先后顺序执行。具体实现代码。

需要注意的问题:

  • 堆内存的大小要由业务量来决定
  • 需要考虑内存泄漏的问题
  • 服务分布式部署时商品id路由的问题,需要考虑 nginx 路由服务的问
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值