挑战大型系统的缓存设计——应对一致性问题

亿级流量电商详情页系统的大型高并发与高可用缓存架构实战 课程基于真实的每日上亿流量的大型电商网站中的商品详情页系统,作为项目实战。详细讲解如何实现一个复杂的缓存系统架构,去直接支撑电商背景下的高并发与高性能的访问,同时基于缓存架构本身所处的复杂分布式系统架构环境下,如何设计与实现一个高可用的分布式系统架构。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:jaskey.github.io/blog/2022/

04/14/cache-consistency/


在真实的业务场景中,我们业务的数据——例如订单、会员、支付等——都是持久化到数据库中的,因为数据库能有很好的事务保证、持久化保证。但是,正因为数据库要能够满足这么多优秀的功能特性,使得数据库在设计上通常难以兼顾到性能,因此往往不能满足大型流量下的性能要求,像是 MySQL 数据库只能承担“千”这个级别的 QPS,否则很可能会不稳定,进而导致整个系统的故障。

但是客观上,我们的业务规模很可能要求着更高的 QPS,有些业务的规模本身就非常大,也有些业务会遇到一些流量高峰,比如电商会遇到大促的情况。

而这时候大部分的流量实际上都是读请求,而且大部分数据也是没有那么多变化的,如热门商品信息、微博的内容等常见数据就是如此。此时,缓存就是我们应对此类场景的利器。

缓存的意义

所谓缓存,实际上就是用空间换时间,准确地说是用更高速的空间来换时间,从而整体上提升读的性能。

何为更高速的空间呢?

  1. 更快的存储介质。通常情况下,如果说数据库的速度慢,就得用更快的存储介质去替代它,目前最常见的就是Redis。Redis 单实例的读 QPS 可以高达 10w/s,90% 的场景下只需要正确使用 Redis 就能应对。

  2. 就近使用本地内存。就像 CPU 也有高速缓存一样,缓存也可以分为一级缓存、二级缓存。即便 Redis 本身性能已经足够高了,但访问一次 Redis 毕竟也需要一次网络 IO,而使用本地内存无疑有更快的速度。不过单机的内存是十分有限的,所以这种一级缓存只能存储非常少量的数据,通常是最热点的那些 key 对应的数据。这就相当于额外消耗宝贵的服务内存去换取高速的读取性能。

引入缓存后的一致性挑战

用空间换时间,意味着数据同时存在于多个空间。最常见的场景就是数据同时存在于 Redis 与 MySQL 上(为了问题的普适性,后面举例中若没有特别说明,缓存均指 Redis 缓存)。

实际上,最权威最全的数据还是在 MySQL 里的,只要 Redis 数据没有得到及时的更新而导致最新数据没有同步到 Redis 中,就出现了数据不一致。

大部分情况下,只要使用了缓存,就必然会有不一致的情况出现,只是说这个不一致的时间窗口是否能做到足够的小。有些不合理的设计可能会导致数据持续不一致,这是我们需要改善设计去避免的。

缓存不一致性无法客观地完全消灭

为什么我们几乎没办法做到缓存和数据库之间的强一致呢?

正常情况下,我们需要在数据库更新完后,把对应的最新数据同步到缓存中,以便在读请求的时候,能读到新的数据而不是旧的数据(脏数据)。但是很可惜,由于数据库和 Redis 之间是没有事务保证的,所以我们无法确保写入数据库成功后,写入 Redis 也是一定成功的;即便 Redis 写入能成功,在数据库写入成功后到 Redis 写入成功前的这段时间里,Redis 数据也肯定是和 MySQL 不一致的。如下图:

f5284dee1755d0c74fa97b67e94c5a8f.png

1d71dfe96cfd9e1d19941daea012841d.png 所以说这个时间窗口是没办法完全消灭的,除非我们付出极大的代价,使用分布式事务等各种手段去维持强一致,但是这样会使得系统的整体性能大幅度下降,甚至比不用缓存还慢,这样不就与我们使用缓存的目标背道而驰了吗?

不过虽然无法做到强一致,但是我们能做到的是缓存与数据库达到最终一致,而且不一致的时间窗口我们能做到尽可能短,按照经验来说,如果能将时间优化到 1ms 之内,这个一致性问题带来的影响我们就可以忽略不计。

b158f04fe1381495a00876ed44fbb173.png

更新缓存的手段

通常情况下,我们在处理查询请求的时候,使用缓存的逻辑如下:

1234567data = queryDataRedis(key);if (data ==null) { data = queryDataMySQL(key); //缓存查询不到,从MySQL做查询 if (data!=null) { updateRedis(key, data);//查询完数据后更新到MySQL }}


也就是说优先查询缓存,查询不到才查询数据库。如果这时候数据库查到数据了,就将缓存的数据进行更新。这样的逻辑是正确的,而一致性的问题一般不来源于此,而是出现在处理写请求的时候。所以我们简化成最简单的写请求的逻辑,此时你可能会面临多个选择,究竟是直接更新缓存,还是失效缓存?而无论是更新缓存还是失效缓存,都可以选择在更新数据库之前,还是之后操作。

这样就演变出 4 个策略:更新数据库后更新缓存、更新数据库前更新缓存、更新数据库后删除缓存、更新数据库前删除缓存。下面我们来分别讲述。

更新数据库后更新缓存的不一致问题

一种常见的操作是,设置一个过期时间,让写请求以数据库为准,过期后,读请求同步数据库中的最新数据给缓存。那么在加入了过期时间后,是否就不会有问题了呢?并不是这样。

大家设想一下这样的场景。

假如这里有一个计数器,把数据库自减 1,原始数据库数据是 100,同时有两个写请求申请计数减一,假设线程 A 先减数据库成功,线程 B 后减数据库成功。那么这时候数据库的值是 98,缓存里正确的值应该也要是 98。

但是特殊场景下,你可能会遇到这样的情况:

  1. 线程 A 和线程 B 同时更新这个数据

  2. 更新数据库的顺序是先 A 后 B

  3. 更新缓存时顺序是先 B 后 A 如果我们的代码逻辑还是更新数据库后立刻更新缓存的数据,那么——

12updateMySQL();updateRedis(key, data);


就可能出现:数据库的值是 100->99->98,但是缓存的数据却是 100->98->99,也就是数据库与缓存的不一致。而且这个不一致只能等到下一次数据库更新或者缓存失效才可能修复。

时间线程A(写请求)线程B(写请求)问题
T1更新数据库为99

T2
更新数据库为98
T3
更新缓存数据为98
T4更新缓存数据为99
此时缓存的值被显式更新为99,但是实际上数据库的值已经是98,数据不一致

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

更新数据库前更新缓存的不一致问题

那你可能会想,这是否表示,我应该先让缓存更新,之后再去更新数据库呢?类似这样:

12updateRedis(key, data);//先更新缓存updateMySQL();//再更新数据库


这样操作产生的问题更是显而易见的,因为我们无法保证数据库的更新成功,万一数据库更新失败了,你缓存的数据就不只是脏数据,而是错误数据了。你可能会想,是否我在更新数据库失败的时候做 Redis 回滚的操作能够解决呢?这其实也是不靠谱的,因为我们也不能保证这个回滚的操作 100% 被成功执行。

b842974ab6f2cd04e39feddd6a505c62.png

同时,在写写并发的场景下,同样有类似的一致性问题,请看以下情况:

  1. 线程 A 和线程 B 同时更新同这个数据

  2. 更新缓存的顺序是先 A 后 B

  3. 更新数据库的顺序是先 B 后 A 举个例子。线程 A 希望把计数器置为 0,线程 B 希望置为 1。而按照以上场景,缓存确实被设置为 1,但数据库却被设置为 0。

时间线程A(写请求)线程B(写请求)问题
T1更新缓存为0

T2
更新缓存为1
T3
更新数据库为1
T4更新数据库数据为0
此时缓存的值被显式更新为1,但是实际上数据库的值是0,数据不一致

所以通常情况下,更新缓存再更新数据库是我们应该避免使用的一种手段。

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

更新数据库前删除缓存的问题

那如果采取删除缓存的策略呢?也就是说我们在更新数据库的时候失效对应的缓存,让缓存在下次触发读请求时进行更新,是否会更好呢?同样地,针对在更新数据库前和数据库后这两个删除时机,我们来比较下其差异。

最直观的做法,我们可能会先让缓存失效,然后去更新数据库,代码逻辑如下:

12deleteRedis(key);//先删除缓存让缓存失效updateMySQL();//再更新数据库


这样的逻辑看似没有问题,毕竟删除缓存后即便数据库更新失败了,也只是缓存上没有数据而已。然后并发两个写请求过来,无论怎么样的执行顺序,缓存最后的值也都是会被删除的,也就是说在并发写写的请求下这样的处理是没问题的。然而,这种处理在读写并发的场景下却存在着隐患。

还是刚刚更新计数的例子。例如现在缓存的数据是 100,数据库也是 100,这时候需要对此计数减 1,减成功后,数据库应该是 99。如果这之后触发读请求,缓存如果有效的话,里面应该也要被更新为 99 才是正确的。

那么思考下这样的请求情况:

  1. 线程 A 更新这个数据的同时,线程 B 读取这个数据

  2. 线程 A 成功删除了缓存里的老数据,这时候线程 B 查询数据发现缓存失效

  3. 线程 A 更新数据库成功

时间线程A(写请求)线程B(读请求)问题
T1删除缓存值

T2
1.读取缓存数据,缓存缺失,从数据库读取数据100
T3更新数据库中的数据X的值为99

T4
将数据100的值写入缓存此时缓存的值被显式更新为100,但是实际上数据库的值已经是99了

可以看到,在读写并发的场景下,一样会有不一致的问题。

针对这种场景,有个做法是所谓的“延迟双删策略”,就是说,既然可能因为读请求把一个旧的值又写回去,那么我在写请求处理完之后,等到差不多的时间延迟再重新删除这个缓存值。

时间线程A(写请求)线程C(新的读请求)线程D(新的读请求)问题
T5sleep(N)缓存存在,读取到缓存旧值100
其他线程可能在双删成功前读到脏数据
T6删除缓存值


T7

缓存缺失,从数据库读取数据的最新值(99)

这种解决思路的关键在于对 N 的时间的判断,如果 N 时间太短,线程 A 第二次删除缓存的时间依旧早于线程 B 把脏数据写回缓存的时间,那么相当于做了无用功。而 N 如果设置得太长,那么在触发双删之前,新请求看到的都是脏数据。

更新数据库后删除缓存

那如果我们把更新数据库放在删除缓存之前呢,问题是否解决?我们继续从读写并发的场景看下去,有没有类似的问题。

时间线程A(写请求)线程B(读请求)线程C(读请求)潜在问题
T1更新主库 X = 99(原值 X = 100)


T2

读取数据,查询到缓存还有数据,返回100线程C实际上读取到了和数据库不一致的数据
T3删除缓存


T4
查询缓存,缓存缺失,查询数据库得到当前值99

T5
将99写入缓存

可以看到,大体上,采取先更新数据库再删除缓存的策略是没有问题的,仅在更新数据库成功到缓存删除之间的时间差内,可能会被别的线程读取到老值。

而在开篇的时候我们说过,缓存不一致性的问题无法在客观上完全消灭,因为我们无法保证数据库和缓存的操作是一个事务里的,而我们能做到的只是尽量缩短不一致的时间窗口。

在更新数据库后删除缓存这个场景下,不一致窗口仅仅是 T2 到 T3 的时间,大概是 1ms 左右,在大部分业务场景下我们都可以忽略不计。

但是真实场景下,还是会有一个情况存在不一致的可能性,这个场景是读线程发现缓存不存在,于是读写并发时,读线程回写进去老值。并发情况如下:

时间线程A(写请求)线程B(读请求–缓存不存在场景)潜在问题
T1
查询缓存,缓存缺失,查询数据库得到当前值100
T2更新主库 X = 99(原值 X = 100)

T3删除缓存

T4
将100写入缓存此时缓存的值被显式更新为100,但是实际上数据库的值已经是99了

总的来说,这个不一致场景出现条件非常严格,因为并发量很大时,缓存不太可能不存在;如果并发很大,而缓存真的不存在,那么很可能是这时的写场景很多,因为写场景会删除缓存。所以待会我们会提到,写场景很多时候实际上并不适合采取删除策略。

总结四种更新策略

终上所述,我们对比了四个更新缓存的手段,做一个总结对比,如下图:

策略并发场景潜在问题应对方案
更新数据库+更新缓存写+读线程A未更新完缓存之前,线程B的读请求会短暂读到旧值可以忽略

写+写更新数据库的顺序是先A后B,但更新缓存时顺序是先B后A,数据库和缓存数据不一致分布式锁(操作重)
更新缓存+更新数据库无并发线程A还未更新完缓存但是更新数据库可能失败利用MQ确认数据库更新成功(较复杂)

写+写更新缓存的顺序是先A后B,但更新数据库时顺序是先B后A分布式锁(操作很重)
删除缓存值+更新数据库写+读写请求的线程A删除了缓存在更新数据库之前,这时候读请求线程B到来,因为缓存缺失,则把当前数据读取出来放到缓存,而后线程A更新成功了数据库延迟双删(但是延迟的时间不好估计,且延迟的过程中依旧有不一致的时间窗口)
更新数据库+删除缓存值写+读(缓存命中)线程A完成数据库更新成功后,尚未删除缓存,线程B有并发读请求会读到旧的脏数据可以忽略

写+读(缓存不命中)读请求不命中缓存,写请求处理完之后读请求才回写缓存,此时缓存不一致分布式锁(操作重)

从一致性的角度来看,采取更新数据库后删除缓存值,是更为适合的策略。因为出现不一致的场景的条件更为苛刻,概率相比其他方案更低。

那么是否更新缓存这个策略就一无是处呢?不是的!

删除缓存值意味着对应的 key 会失效,那么这时候读请求都会打到数据库。如果这个数据的写操作非常频繁,就会导致缓存的作用变得非常小。而如果这时候某些 Key 还是非常大的热 key,就可能因为扛不住数据量而导致系统不可用。

如下图所示:

48c5f0045a74d8a834ee5967a67162b0.png

所以做个简单总结,足以适应绝大部分的互联网开发场景的决策:

  • 针对大部分读多写少场景,建议选择更新数据库后删除缓存的策略。

  • 针对读写相当或者写多读少的场景,建议选择更新数据库后更新缓存的策略。

最终一致性如何保证?

缓存设置过期时间

第一个方法便是我们上面提到的,当我们无法确定 MySQL 更新完成后,缓存的更新/删除一定能成功,例如 Redis 挂了导致写入失败了,或者当时网络出现故障,更常见的是服务当时刚好发生重启了,没有执行这一步的代码。

这些时候 MySQL 的数据就无法刷到 Redis 了。为了避免这种不一致性永久存在,使用缓存的时候,我们必须要给缓存设置一个过期时间,例如 1 分钟,这样即使出现了更新 Redis 失败的极端场景,不一致的时间窗口最多也只是 1 分钟。

这是我们最终一致性的兜底方案,万一出现任何情况的不一致问题,最后都能通过缓存失效后重新查询数据库,然后回写到缓存,来做到缓存与数据库的最终一致。

如何减少缓存删除/更新的失败?

万一删除缓存这一步因为服务重启没有执行,或者 Redis 临时不可用导致删除缓存失败了,就会有一个较长的时间(缓存的剩余过期时间)是数据不一致的。

那我们有没有什么手段来减少这种不一致的情况出现呢?这时候借助一个可靠的消息中间件就是一个不错的选择。

因为消息中间件有 ATLEAST-ONCE 的机制,如下图所示。

16d05a70401fc72f1fa32408473f2203.png

我们把删除 Redis 的请求以消费 MQ 消息的手段去失效对应的 Key 值,如果 Redis 真的存在异常导致无法删除成功,我们依旧可以依靠 MQ 的重试机制来让最终 Redis 对应的 Key 失效。

而你们或许会问,极端场景下,是否存在更新数据库后 MQ 消息没发送成功,或者没机会发送出去机器就重启的情况?

这个场景的确比较麻烦,如果 MQ 使用的是 RocketMQ,我们可以借助 RocketMQ 的事务消息,来让删除缓存的消息最终一定发送出去。而如果你没有使用 RocketMQ,或者你使用的消息中间件并没有事务消息的特性,则可以采取消息表的方式让更新数据库和发送消息一起成功。事实上这个话题比较大了,我们不在这里展开。

如何处理复杂的多缓存场景?

有些时候,真实的缓存场景并不是数据库中的一个记录对应一个 Key 这么简单,有可能一个数据库记录的更新会牵扯到多个 Key 的更新。还有另外一个场景是,更新不同的数据库的记录时可能需要更新同一个 Key 值,这常见于一些 App 首页数据的缓存。

我们以一个数据库记录对应多个 Key 的场景来举例。

假如系统设计上我们缓存了一个粉丝的主页信息、主播打赏榜 TOP10 的粉丝、单日 TOP 100 的粉丝等多个信息。如果这个粉丝注销了,或者这个粉丝触发了打赏的行为,上面多个 Key 可能都需要更新。只是一个打赏的记录,你可能就要做:

1234updateMySQL();//更新数据库一条记录deleteRedisKey1();//失效主页信息的缓存updateRedisKey2();//更新打赏榜TOP10deleteRedisKey3();//更新单日打赏榜TOP100


这就涉及多个 Redis 的操作,每一步都可能失败,影响到后面的更新。甚至从系统设计上,更新数据库可能是单独的一个服务,而这几个不同的 Key 的缓存维护却在不同的 3 个微服务中,这就大大增加了系统的复杂度和提高了缓存操作失败的可能性。最可怕的是,操作更新记录的地方很大概率不只在一个业务逻辑中,而是散发在系统各个零散的位置。针对这个场景,解决方案和上文提到的保证最终一致性的操作一样,就是把更新缓存的操作以 MQ 消息的方式发送出去,由不同的系统或者专门的一个系统进行订阅,而做聚合的操作。如下图:

961b37ebfb8e625de2ca70f5340ab9bc.png 44c5b53ab53406d55a302c52b9ea8331.png

通过订阅 MySQL binlog 的方式处理缓存

上面讲到的 MQ 处理方式需要业务代码里面显式地发送 MQ 消息。还有一种优雅的方式便是订阅 MySQL 的 binlog,监听数据的真实变化情况以处理相关的缓存。

例如刚刚提到的例子中,如果粉丝又触发打赏了,这时候我们利用 binlog 表监听是能及时发现的,发现后就能集中处理了,而且无论是在什么系统什么位置去更新数据,都能做到集中处理。

目前业界类似的产品有 Canal,具体的操作图如下:

712787de8b426243048a53ecdd590ba0.png

到这里,针对大型系统缓存设计如何保证最终一致性,我们已经从策略、场景、操作方案等角度进行了细致的讲述,这些是我根据多年开发经验进行总结的,希望能对你起到帮助。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

1a07fb0a625ba786ddc3cdef5f5ce179.png

已在知识星球更新源码解析如下:

35fe8bdb29a858411a44c838c275f656.png

07d488807a7d2b3c852962cc21536914.png

2123ed3f13704d10d1f1afe89ac95d61.png

e5226c0612120dd51784b35ada461b82.png

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
缓存管理设计 本文主题:一、去除Redis,使用进程内缓存;二、集中缓存管理。 我们在写系统时为了提高系统业务处理速度,在系统中大量使用Redis作为缓存使用,但是对于一些信息使用Reids是首选吗?我们还是以支付系统为例,对于对接的通道的一些配置信息、交易机构信息(银行),响应码转换信息等等,真的有必要上来就怼Redis里吗?对于这些信息每笔交易都会使用到,那么我们系统在运行时强依赖Redis,还是那句话,我们系统在运行时依赖的外界系统越少越好,依赖的越多,在后期运行过程系统性能瓶颈有很大可能发生在和这些系统交互上面 阅读详情

相关推荐

天线学习笔记——串馈网络设计

工程中通常更倾向于使用50Ω、70.7Ω、100Ω的固定阻抗的带宽,实际中可以分别使用固定阻抗的带宽和计算得到的带宽进行仿真,观察二者的性能,取性能更优者即可。本系列是一个记录天线设计的笔记,分享出来也希望能够帮助到大家,后续本系列文章还会不定期更新,如有需要可关注,任何问题均可在评论区或私信提出,看到必回。如果对大家有帮助可进行打赏哦~

Ethan的博客 7883

缓存架构设计,从此不再发愁

架构师之路年终总结(五)-缓存篇缓存是互联网系统架构中必不可少的一环,之前花大精力系统性的写了10篇,缓存架构设计相关的文章,欢迎回顾。1.《进程内缓存究竟怎么玩?》缓存...

架构师之路 1059

Coze HTTP请求节点实战:5分钟搞定天气API对接(含动态参数技巧)

本文通过一个天气预报API对接的实战案例,详细讲解了如何在Coze平台使用HTTP请求节点实现外部数据交互。文章重点演示了动态参数传递、JSON响应解析与错误处理等核心技巧,帮助开发者在5分钟内快速构建稳定可靠的智能体外部服务调用能力。

weixin_29233333的博客 677

统一缓存处理 AOP

使用 Redis 做缓存, 并实现统一的缓存处理 (AOP)

lingchen1120的博客 926

YOLO12涨点改进| 损失函数改进篇 |AAAI 2025| 一种小目标检测SDLoss损失函数,解决现有损失函数对不同目标尺度敏感度不足的局限,提高了网络检测不同尺度目标的敏感能力,助力高效涨点

本文提出了一种改进的小目标检测方法SDLoss,通过动态调整尺度损失与位置损失的权重,优化了YOLOv12模型的性能。针对红外小目标检测中存在的两个主要问题:1)标准卷积难以捕捉目标的高斯空间分布特性;2)现有损失函数对不同尺度目标的敏感度不足,研究团队开发了Pinwheel-shaped卷积(PConv)和Scale-based Dynamic损失函数(SDLoss)。PConv通过不对称卷积核设计显著提升感受野,SDLoss则根据目标大小动态平衡尺度与位置损失的影响。

Ai缝合怪、助力小伙伴高效发论文 239

自私兽群优化器(SHO)详解:从生物本能到智能优化

自私兽群优化器(SHO)是一种受动物群体自私行为启发的智能优化算法。该算法模拟动物在捕食威胁下的两种行为:聚集行为(全局搜索)和自私行为(局部搜索),将优化问题的解空间映射为生存环境,候选解视为猎物个体。SHO通过安全性评估将猎物分为安全、危险和高危三类,分别采用不同的位置更新策略,并引入捕食者角色增加选择压力。相比传统优化算法,SHO具有无需梯度信息、自适应平衡探索与开发、参数简单等优势,特别适合高维复杂和多模态优化问题。算法通过马尔可夫链理论保证收敛性,已在工程设计和数据挖掘等领域展现出良好性能。

qq_42212808的博客 202

Restfult风格的统一缓存架构设计

Restfult风格的统一缓存架构设计 概述 基于Restful的架构风格已被广泛接收,因为Restful对资源URI的命名要求、对资源操作明确的动词语义,在很大程度上影响了Web应用的整体架构设计。 本文以一个简单的CURD操作为例,讨论基于Restful的缓存设计,抛砖引玉,共通探讨。 本文中的示例代码可以从下面地址下载:https://github.com/hubin

hubin0011的专栏 2773

【即插即用模块】注意力篇 | TGRS 2025 | ASD:自适应频域解耦,动态拆分高低频+空间注意力,频域空间特征双增强!

摘要: FDMF-Net提出了一种频域解耦多模态融合网络,核心组件为振幅谱解耦模块(ASD)。ASD通过自适应频域拆分和频域-空域协同增强,有效分离模态不变与模态特定特征。该模块利用MLP学习动态阈值调整高低频比例,并通过空间注意力分别强化频域特征,在遥感语义分割任务中实现了细节与结构的协同增强。实验表明,ASD模块能减少模态内冗余,提升特征判别性,为多模态数据融合提供了新思路。代码已开源,适用于需要强化细节与结构的视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 316

讲讲 Redis 缓存更新一致性

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 10:33更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...

芋艿V 183

Arcgis加载在线地图(内涵各种在线地图)

这三个在线地图是最常用的在线地图,其他几个类型的在线地图请自行查看。,加载出在线图层说明连接成功,点击。1、首先打开Arcgis,找到。

爱吃雪糕的小布丁的博客 1万+

概率质量函数(PMF)、概率密度函数(PDF)、累积分布函数(CDF)

1.概率分布函数(Probability Distribution Functions) 笔记来源:Probability Distribution Functions (PMF, PDF, CDF) 1.1 离散型:PMF和CDF 1.2 连续型:PDF和CDF 累积分布函数的导数 === 概率密度函数的函数值 dF(x)dx=f(x) \frac{dF(x)}{dx}=f(x) dxdF(x)​=f(x) 概率密度函数与 xxx 轴围成的面积 === 累积分布函数的函数值 ∫−∞xf(x)d

一个搬运知识的笨小孩 3万+

挑战大型系统的缓存设计——如何应对一致性问题

在高并发业务场景中,数据库难以满足性能需求,缓存成为提升读性能的关键。通过用Redis等高速存储介质“以空间换时间”,可显著提升QPS。但缓存与数据库间存在一致性挑战,无法实现强一致,只能追求最终一致。推荐“更新数据库后删除缓存”策略,不一致窗口可控制在1ms内,适用于读多写少场景;对写频繁的场景,可考虑更新缓存。结合过期时间、消息队列(如RocketMQ事务消息)及binlog订阅(如Canal),可有效保障缓存与数据库的最终一致性,尤其在复杂多缓存场景下更具优势。

java后端架构 455

Kafka 性能优化与常见问题排查

Kafka 的高性能依赖于合理的集群设计、参数优化与高效的监控体系。生产环境中,应重点关注I/O 瓶颈、分区规划、Producer/Consumer 参数调优,并通过监控与排查手段快速定位问题,从而保障 Kafka 在实时场景下的稳定运行。

X2829352498的博客 236

挑战大型系统的缓存设计,应对一致性问题

针对大型系统缓存设计如何保证最终一致性,从策略、场景、操作方案等角度进行了细致的讲述,这些是我根据多年开发经验进行总结的,希望能对你起到帮助。

chenzoff的专栏 170

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

深入理解分布式系统中的缓存架构(下)

承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,业界案例。 1 分层缓存架构设计 2 缓存带来的复杂度问题 常见的问题主要包括 数据一致性 缓存穿透 缓存雪崩 缓存高可用 缓存热点 下面逐一介绍分析这些问题以及相应的解决...

weixin_34185364的博客 200

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Java精准营销系统面试:缓存与JVM深度剖析

本文通过一场生动的互联网大厂Java面试对话,深度探讨了精准营销业务场景下,Java核心语言与JVM、以及Redis、Caffeine、Spring Cache等缓存技术的应用与优化。文章以幽默的面试实录和详细的技术解析,帮助读者掌握相关知识点,提升面试技巧。

2303_76177839的博客 306

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

浅析数据库缓存一致性问题

在真实的业务场景中,我们的业务的数据——例如订单、会员、支付等——都是持久化到数据库中的,因为数据库能有很好的事务保证、持久化保证。但是,正因为数据库要能够满足这么多优秀的功能特性,使得数据库在设计上通常难以兼顾到性能,因此往往不能满足大型流量下的性能要求,像是 MySQL 数据库只能承担“千”这个级别的 QPS,否则很可能会不稳定,进而导致整个系统的故障。但是客观上,我们的业务规模很可能要求着更高的 QPS,有些业务的规模本身就非常大,也有些业务会遇到一些流量高峰,比如电商会遇到大促的情况。而这时候大部分

soso1968的博客 1153

微服务架构在大型系统中面临的主要挑战及应对方案?​​

微服务在大型系统的落地需​​技术架构与组织能力双轨并进​​​架构层面​​:通过DDD划分边界、异步消息解耦、SAGA/TCC保障数据一致,并强化可观测性;​​组织层面​​:推动DevOps标准化流程、基础设施容器化,建立跨团队协作机制。微服务不是银弹,在业务发展初期可先用单体+模块化,待系统复杂度达到临界点再逐步拆分,避免过度设计。

iddlw75046的博客 685

大型系统的缓存设计

缓存及其一致性

zhaominyong的专栏 401

【大型系统稳定性保障】:Java缓存一致性设计的黄金3原则

解决缓存与数据库不一致难题,本文深入解析Java缓存一致性方案的三大设计原则,涵盖高并发场景下的更新策略、失效机制与读写优化,保障系统稳定高效。方法实用,架构师必看,值得收藏。

LogicPlex的博客 608

Redis的缓存应用——缓存模式和一致性问题

缓存的作用在大型软件系统的构建中,分层是一种很好的设计思路,我们通过抽象思维,将同一个抽象层次的概念放在同一层次交互,上层以来下层的接口,下层对上层隐藏复杂的实现细节。操作系统、rpc框架...

阿杜的世界 423

开发大型软件系统的挑战是什么?

摘要:开发大型软件系统面临多维度挑战,主要包括架构设计与演进、需求管理、团队协作、技术债务、测试质量、依赖管理、性能扩展、安全合规、运维容灾和长期维护等方面。这些挑战源于系统规模复杂性及业务动态变化性,需从技术架构优化、流程规范制定和团队协作管理三个维度协同解决,以实现高效交付、灵活演进和稳定运行的目标。

软件行业技术文化交流。 1219

大型web系统中缓存的使用

对于一个规模很大的web系统,如PV在一亿以上,缓存就是一个不可或缺的重要组成部分,它可以挡掉大部分的用户访问的冲击,如果没有它,系统很可能将迅速不可用直至崩溃。 但是缓存带来了另外一些棘手的问题: 一致性和实时性。 一个很直观的场景就是,数据库中的数据状态已经改变,但是用户在页面上看到的仍然是缓存的旧值。 一般来说,缓存数据本身都是保持在内存中的,例如淘宝内部大量使用的tair

pan-zy的专栏 1487

系统设计入门完全指南:如何从零掌握大型系统架构设计

system-design-primer 是一个全面的开源项目,专为想要学习大型系统设计的新手和普通用户打造。通过本指南,你将快速掌握系统设计的核心概念、关键组件和实际应用,轻松应对系统设计面试挑战。 ## 为什么系统设计如此重要? 在当今数字化时代,无论是社交媒体平台、电商网站还是云计算服务,都离不开高效可靠的大型系统架构。系统设计能力已成为软件工程师和技术人员必备的核心技能之一。掌握系统设

gitblog_00016的博客 960
上一篇: 腾讯低代码平台正式开源!可拖拽生成手机项目、PC项目、TV项目!接私活福利啊!...
下一篇: 这份日志格式规范,拿走不谢(Java版)
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值