浅析分布式主从架构下数据一致性问题

后端分布式系列:分布式存储-MySQL 数据库事务与复制 好久没有写技术文章了,因为一直在思考 「后端分布式」这个系列到底怎么写才合适。最近基本想清楚了,「后端分布式」包括「分布式存储」和 「分布式计算」两大类。结合实际工作中碰到的问题,以寻找答案的方式来剖解技术,很多时候我们都不是在创造新技术,而是在应用技术。为了更有效率与效果的用好技术,我们需要了解一些技术的原理与工作方式。带着问题从使用者的角度去剖析技术原理,并将开源技术产品和框架作为一类技术的参考 阅读详情

主从架构

常见的主从架构,即为一主多从,常见的读写策略为写主读从,并由主节点写日志并通过网络传输来维护从节点的数据库状态,但是这个常见的策略会产生一系列的分布式数据一致性问题。

通常我们使用主从架构,主要是处于以下几个目的:

  • 提高服务的容错性,即使一个节点崩溃了,还存在多个节点可以对外提供服务;
  • 提高服务的响应速度与QPS,存在多个冗余节点可以对外提供服务,自然会降低响应的延迟与提高服务的承受能力;常见的使用策略为CDN,通过在全国各地部署服务器,使得用户可以通过请求最靠近自身的服务器而无需跨较远距离访问源站,从而提高了响应速度。

基础概念:

复制状态机:

注意与设计模式中的状态机模式进行区分,核心要点在于各自状态的含义是什么?

  • 复制状态机中的状态一般是指集群节点中数据库的状态,集群节点通过不断接收、应用事件日志使得自身状态与主节点同步;
  • 状态机模式中的状态是指程序对象的状态,程序通过不断响应定义好的状态变更事件使得程序对象的状态在恒定的几个状态间流转;

复制状态机基于集群节点初始状态一致,并且导致状态变更的事件在每个节点中应用的顺序一致,那么集群所有节点的状态最终必然是一致的这个理念,并通过事件日志传输维持集群节点的状态同步;

如上图所示,复制状态机算法下定义的每个节点含有:自身状态机、本地日志;

而如何保证事件日志的应用顺序一致,这个则由具体的分布式一致性算法(共识算法) 实现,如ZAB、Raft通过实现了全序广播算法对此进行保证,这个下面会具体讲。

分布式系统模型概念:

当我们要研究分布式系统时,首先是要使用形式化的语言描述分布式系统会出现的问题,然后根据这些问题总结出相应的系统模型,最后再基于系统模型提供的前置条件定义算法,并通过算法属性基于系统模型论证算法的有效性。

分布式系统中常见的问题场景为:

  • 节点宕机:节点宕机后可能会一直宕机下去,又或者在经过一段时间后恢复正常运行并重新加入集群;而基于这个问题场景,定义了节点崩溃的两种系统模型-崩溃-中止模型、崩溃-恢复模型,在日常生产中,显然崩溃-恢复模型更加通用;ZAB与Raft等共识算法基于该系统模型,并解决了该模型下,诸如主节点崩溃后恢复加入集群可能会导致脑裂等问题;
  • 节点间通信无响应或通信信息错位: 分布式系统因为网络问题导致无响应的原因可能包括:网络延迟较高超过程序预设的超时时间、进程暂停无法响应(如正在GC);而出现信息错位是因为集群中每个节点间墙上时钟(本地时间) 存在一定的漂移,在多主架构下依据不同节点的本地时间判断全局的操作次序可能会导致对于操作先后的判断错误,并造成错误的数据覆盖:因此基于该问题场景,定义了节点网络通信的三种系统模型-同步模型、部分同步模型、异步模型,部分同步模型更加适合描述日常生产,网络在大部分时候都是稳定、具有响应时间上限的,但是在一些时候也会出现较长时间无响应的场景;ZAB与Raft等共识算法亦基于该系统模型,并解决了该计时模型下,如何在不确定网络响应时间上限的条件下判定节点是否失效、墙上时钟会出现震荡等问题。

共识算法:

共识:集群中半数以上节点就某项提议达成一致;提出共识的主要原因是集群中每个节点是无法仅凭借自身信息做出正确决策的;

如多个客户端同时请求分布式系统尝试获取最后一张电影票,此时可以通过共识算法决定哪个客户端为获胜者;

共识算法用于容忍部分同步,崩溃-恢复分布式系统模型下的节点通信、节点失效等问题;

接着我们首先讲复制状态机的实现手段-日志:

日志

日志同步方式

  • 同步:主节点的一条日志只有所有子节点都复制成功后才可以进行提交;这种方式很明显可以完全保证主从之间日志的一致性,但是一旦某个子节点出现了网络问题,会导致日志无法提交直到该节点被判定为失效,在此之间集群无法提供写服务;
  • 异步:主节点的一条日志只负责发给所有的子节点后便进行提交;这种方式使得客户端的响应时间得到保证,但很明显主从之间会存在日志复制的延迟,如果一条日志在主节点上提交后主节点便崩溃了,此时这条日志会存在丢失的隐患;
  • 半同步:即对同步与异步的折中,在集群中选择一定数量的从节点为同步更新日志,其他的从节点为异步更新数据;这样既不会过于影响效率,又保证了在主节点崩溃时存在一个可以替换的节点。

同步日志内容

  • 基于语句的复制:如主节点上需要执行update、insert、delete语句时,便会按照其sql语句生成相应的日志,而从节点应用日志的方式即为在本地执行相应的sql;该方法适用于像Redis这种较简单的键值数据库;如果是复杂的关系型数据库,因为其广泛支持事务,而一个事务中往往包含多条语句,使用该方法用于生成同步日志可能较为复杂;
  • 基于预写日志的复制:诸如Innodb这类数据库存储引擎,为防止数据写入一半时数据库崩溃,因而在真正开始写入数据前会先保存WAL(预先写入日志),从而可以在数据库崩溃恢复后进行redo操作;因此我们可以尝试直接使用该日志进行同步;该方法的好处在于不用花费额外的成本用于生成日志,坏处则在于 因为WAL日志是高度依赖于存储引擎的,所以我们集群日志同步便也会高度依赖特定的存储引擎,即如果WAL日志格式在某个存储引擎版本更新后发生了不向前兼容的升级后,我们不可以进行集群的滚动升级;
  • 基于行逻辑日志的复制:因此更进一步,我们需要将集群间同步的日志与具体的存储引擎分隔开,我们可以采用类似Innodb undo日志的格式记录数据库行的逻辑变化,如我们增加了一条记录则标识增加一条记录,如果修改了一条记录则将旧的数据行标识为删除,并增加一条新的记录…并且基于此方式,我们可以在日志中增加当前逻辑日志是否属于事务,事务是否已提交等信息更好的支持事务;

通过定义日志我们可以简单实现复制状态机,但仍然需要分布式一致性协议来保证日志复制的顺序性;

数据一致性定义

数据强一致性(线性化)

如上图所示:客户端ABCD并发对数据库(存在多个数据副本)进行读写操作,图中矩形的左边表示数据库接收请求的时间,右边表示数据库响应请求的时间,而矩形中的竖线表示请求操作生效的时间;

线性化表示分布式系统中的多个数据副本对于客户端感知而言,相当于一个数据副本,并且对于该数据副本的修改都是原子的;即所有客户端对于数据库的操作是可线性化表示的,即符合全序关系,可以参考上图中最后一条数据库线;

关键在于理解这个原子性:

当write(x, 1) 即将1赋予x指令生效前,所有客户端从数据库所有读写算法定义的可读副本中读取x的指令返回的结果都为初始值0,(如在写主读从算法下,算法定义的可读副本即为所有主从节点),生效后所有客户端从所有读写算法定义的可读副本中读取x指令返回的结果在下次更改生效前都为修改值1;

即不同的客户端对于数据库的感知都是一致的,不会因为数据库存在多个副本,而多个副本需要进行数据同步导致客户端感受到这个操作的中间结果-即读取到新副本得到新值,读取落后副本得到旧值的问题;

与多线程下的原子性定义类似,即观察线程不会看到某个线程操作的中间效果,观察线程看到的要么是操作未发生的状态,要么是操作已生效的状态;

接着我们先认识一下全序、因果序的定义与区别:

操作顺序性

  • 全序

如阿拉伯数字属于全序,只要是两个阿拉伯数字比较的范畴,我们就可以很清楚的在全阿拉伯序列上知道数字的先后关系。

共识算法想要实现可线性化的定义,则日志序列关系要支持全序,即意味着任意两个从主节点同步至从节点的日志,我们都需要知道其先后关系;

在常见的全序关系广播算法-ZAB、Raft中,一般通过<epoch(term)号, 自增数(index)>的组合实现全局唯一且递增的序列号,在zookeeper中即为zxid。

  • 因果序(偏序)

如果两个操作之间不存在因果关系,即可以并发,则这两个操作不受因果序的限制;

如果两个操作之间存在因果关系,即不可以并发,必须先后执行时,则这两个操作受因果序的限制;

在主从同步的场景中维持全序一般是为了维持因果序,因为对于可以并发的操作,绝大部分场景下从节点同步并不存在日志应用顺序的问题;

弱数据一致性

因为完全在数据库系统中实现ACID中的隔离性成本很高,因此提出了提交读、快照读、串行化等事务的弱隔离级别;

与事务的弱隔离级别提出的原因类似,在分布式系统中完全保证数据的一致性的代价比较大:在CAP理论中揭示了在网络分区产生时,对于分布式系统而言,要么保证系统数据一致性,要么保证系统可用性,因此如果要使得分布式系统在不稳定的网络环境下保证数据的一致性是要以牺牲服务可用性为代价的,而这个代价往往是不可以接受的;

因而提出了一些弱数据一致性级别(保证级别由低到高):

  • 最终一致性:该一致性级别保证在分布式系统中主节点与从节点的数据可能在某个时间点上从节点的数据版本会落后于主节点,但是最终是一致的;但是不能保证在某个时间点->最终同步完成的时间点之间主从数据是一致的,因而在写主读从策略下会导致客户端读取到旧数据的问题,是比较弱的一致性级别;
  • 读取副本一致性:该一致性强于最终一致性,该一致性保证了读写分离架构下,用户在修改数据后不会因为最终一致性保证下主节点与从节点的日志同步延迟而导致读取到旧的数据;
  • 因果顺序一致性:该一致性强于最终一致性,但是与读取副本一致性的关注点不同,该一致性关注的是日志的因果顺序一致性;

其中读取副本一致性与因果顺序一致性,会在下面谈一致性问题时进行详细解释,现在只需要有个印象即可;

数据一致性问题

复制滞后

问题 1-读取到落后节点

客户端请求主节点进行数据的写入,主节点根据一般的共识算法获得半数以上支持后会进行写commit(如ZAB、Raft),而在写主读从策略下,如果此时客户端读取了未完成数据同步的从节点,会导致用户观察到的现象为更新丢失,即Read After Write一致性问题;

从节点数据同步一般包含两个步骤,持久化日志与提交日志并应用自身状态机:在ZAB协议中,主节点接收到客户端请求后会为该请求生成一个提案(proposal)以及对应的序列号并自身持久化提案日志,接着会将该提案通过网络传递到每个从节点;

  • 从节点会将该提案日志持久化后回复ACK至主节点;(从节点持久化日志)
  • 当主节点收到半数以上节点的确认消息后会为该提案生成对应的commit消息并通过网络传递给每个从节点,接着主节点应用提案修改状态机状态并答复客户端;(从节点提交日志并应用自身状态机)

因此尚未同步完成包括两个层面:

  • 部分Follower尚未完成提案的持久化;
  • 全部Follower实现了提案持久化,但部分Follower尚未完成状态机的同步;

针对主从同步存在延迟的问题,我们可以通过使得客户端读自己的写来解决:

问题 2-多次读写数据不一致

主节点回复客户端请求完成后,从节点尚未全部同步完成,而客户端第一次请求了同步完成的节点获取到了新的数据,而第二次却请求到了旧的节点;

在操作系统中存在类似的问题,如果在一个线程中通过CPU更新变量至WriteBuffer or Cache后尚未进行冲刷写缓冲区(缓存同步) 时,线程进行了CPU的切换,那么此时线程重新读取该变量值时会读取到更新前的值;我们可以使用操作系统的相关内存屏障机制,或者直接使用语言级机制-如volatile强制刷新缓存解决该问题。

而对于多次读写数据不一致问题,我们是否也可以通过类似于在集群间进行强制日志同步的方式来解决呢?分布式系统是否可以提供一种机制使得客户端在通过从节点读取数据时,数据对应的线性时间点一定是在其对应的写操作同步至该从节点后;

我们可以通过Follwer Read或者读走Quorum机制解决该问题;

问题 3-因果顺序不一致

上述的两个问题本质是因为复制存在滞后,但是日志顺序并没有发生改变;

如果因为网络的原因导致了两个存在因果关系的同步日志的顺序发生了改变,则导致因果关系颠倒的问题;

如上图这个场景:

——提问:“Cake夫人,您能看到多远的未来” ——回答:“通常约10s”

其中提问是回答的因,回答是提问的果,但是下图在分区1中存储因,在分区2中存储果,接着客户端(观察者)分别读取分区1的从节点、分区2的从节点,因为两个分区的主从同步的延迟不一致,当客户端仅按照两个分区上该记录的同步时间用于判断先后时会导致因果关系颠倒;

为什么只有分区会产生因果颠倒的问题?

因为主从节点同步一般是基于Tcp协议,而Tcp协议可以通过Seq(Tcp头部序列号)来保证接收方接收网络包的顺序性,所以如果集群各节点间只存在简单复制的平行扩展,并不会有因果顺序不一致的问题;

而在主从节点引入了分区后,则会产生该问题,因为一个数据库的多个分区可能存储在不同的从节点上,而每个从节点只能保证自身分区的日志顺序,但在并不存在某种机制判断分区之间的日志顺序,上图中只简单的按照记录在分区中生成的时间进行时间戳的排序导致;

我们可以通过前缀一致读使得存在因果关系的记录存储在同一个分区中,或者通过实现全序消息广播算法提供全局的逻辑时钟用于判断日志顺序来解决该问题;

解决方案 1-读自己的写(读取副本一致性)

在一主多从下,即为读主,既然客户端是在主节点上进行的更新,那么客户端从主节点上进行读取就不会有复制滞后的问题-因为根本不涉及到复制;

但该方案会存在主节点提交日志、主节点应用日志修改状态机状态与响应客户端这三个时间点的先后时机问题:

主节点提交日志

在主从同步过程中,主节点通过心跳包为每个从节点维护其matchIndex与nextIndex值:

matchIndex:该子节点已经同步的最大日志序列号(即回复给主节点ACK消息的日志序列号);

nextIndex:主节点要向从节点同步的下一条日志序列号;

而主节点通过判断所有从节点的matchIndex的大小,判断当前index的日志是否已经被半数节点复制,是否可以被主节点commit;

主节点修改状态机状态: 应用(apply)日志,并修改状态机状态;

诸如Raft算法并没有强制规定主节点响应客户端的时机是在日志提交后,还是主节点修改完状态机后;

如果主节点是获取到半数从节点支持后将日志到状态机再返回,那么写主读主不会存在问题;而如果是先commit然后apply,那么客户端收到主节点回复后立即读取记录时可能状态机状态尚未修改,因此还是存在数据一致性的问题,此时只能保证数据的最终一致性-较弱的一致性级别;

因此我们要避免这个问题,我们首先要了解,为了区分处于不同状态的日志,每个主节点都会维护四种index:

firstLogIndex:主节点中尚存的最小日志序列号;

applyIndex:主节点中已经应用到状态机的最大日志序列号;

commitIndex:主节点中已经得到集群半数以上节点确认后可提交的最大日志序列号;

lastLogIndex:主节点中接收到当前最新请求后生成的最大日志序列号;

了解这四个Index后解决这个问题比较简单,在主节点对于写命令已经得到半数确认时我们只需记录下当前的请求序列号(commit index),当 apply index追上该 commit index时,即可将状态机中的内容响应给客户端。

但是对于因为网络分区产生两或多个主节点时-脑裂,客户端可能会连接到错误的主节点从而读取到旧的记录;

因此我们需要引入下一个解决方案:读主节点也需要走Quorum共识机制;

PS:如果是多主,则可以通过Hash等方式保证客户端访问的服务端节点一致。

解决方案 2-读走Quorum机制

Quorum机制用来实现共识与容错,即对于集群的每个操作(Proposal),都需要获得半数以上节点的同意才可以提交;

解决上述问题的本质在于客户端在读取主节点时,主节点要通过心跳机制确认其获得了超过Quorum机制要求的从节点数的支持,来保证其主节点的有效性;

如果此时读取到旧的主节点,其心跳机制确认的从节点数必然小于半数,则需要重新获取集群主节点的连接;

但是如果完全进行读主写主,那么从节点便只有冗余提高系统的容错性了;所以我们可以使用Follower Read的策略解决更好的利用从节点。

解决方案 3-Follwer Read

上述解决方案之所以从写主读从演变为写主读主本质上是因为从节点的状态机状态可能落后于主节点的状态,因而客户端在向从节点发起读请求时记录下当前的read index,从节点直到状态机apply至主节点同步过来的到日志序列号超过当前read index后再进行返回,即可保证不会读取到落后的数据;

虽然该方案仍然依赖于主节点,但一定程度上缓解了主节点的压力。

解决方案 4-前缀一致读 (保证因果顺序一致性)

问题的关键在于数据库存在多个分区,而多个分区间不存在全局写入顺序,但每个分区自身存在顺序,因而我们可以对于存在因果关系的操作放入同一个分区中便可以解决这个问题;

比如在Kafka中,我们可以自定义按Key分区策略,从而进行实现;

解决方案 5-实现全序算法

上面讲述的Cake夫人的问题,当然我们可以在先后写入数据至分区1主节点、分区2主节点时就在主节点上记录下主节点的墙上时钟(本地时钟),然后在同步日志时顺带同步该时间;但是按照部分同步系统模型的定义,节点间墙上时钟会存在漂移现象,而时钟漂移仍然会导致日志全局顺序判断错误:

如上图所示,因为节点1的墙上时钟相较节点3快,因而set x = 1的操作全局顺序上应该早于x += 1,但通过各自节点上的时间戳观察时顺序却颠倒了;

因而物理时钟无法实现可靠的全序,因此全序算法需要基于逻辑时钟,通过生成器按照相应的全序算法生成的全局唯一、自增序列号做为逻辑时钟;

如在ZAB协议中,我们通过比较zxid的大小即可确定该请求在全局顺序的相对位置。

上述即为主从架构集群节点间正常网络通信时问题与解决方案,下面我们探讨另一个关注点-节点失效。

节点失效

对于节点失效有两种常见的系统模型-崩溃-中止、崩溃-恢复;崩溃-中止即指失效的节点失效后就不会再加入集群;崩溃-恢复是指节点失效后会自动恢复并尝试重新加入集群;崩溃-恢复模型更符合现实情况。

1 节点失效的判定

节点之间如果无法按时维持相互间的心跳包,因为网络的不稳定性,彼此并不能够判断是网络延迟还是通信的节点已经挂了,但目前还是以超时判断为主;

如在Raft中,对于从节点而言,如果在一个区间内随机的超时时间中无法与主节点进行心跳联系,则从节点会认为该主节点已经失效,并发起新一轮的选举;

2 崩溃-恢复

崩溃-恢复过程中,需要提供两个保证:

  • 已经被主节点提交的日志不可以丢失;
  • 只在主节点中被提交的节点需要被丢弃;

从节点失效

从节点重新加入集群后,只需要找到当前集群中的主节点,然后开始同步日志即可;

与集群新增节点的同步方式一致,首先是进行主节点的整体快照复制,然后再是在该快照版本后新增变更的日志序列的复制;

因为完全基于日志序列的复制,则从节点需要较长时间逐句同步,而首先基于主节点的整体进行快照复制则快很多;类似的,Redis一般也是用RDB + AOF的从节点状态同步方式;

主节点失效

如果判定主节点失效,则需要进行新一轮的主节点选举,选举出新的主节点;

对于Raft与ZAB算法来说,它们的目的都是选举出具有最大全序序列号的节点做为主节点,因为按照之前对于全序的定义,拥有最大序列号的节点也意味着拥有最新的状态;

节点选举可能出现在集群刚刚启动以及集群主节点失效这两种场景下,下面我们对上述两种协议的选举进行比较分析:

ZAB协议

ZAB协议定义了64位全局序列号(epoch + 32位递增数)做为逻辑时钟,其中epoch的值在每次切换主节点时都会递增,用于标识不同主节点任期间日志的全序关系,而32位递增数即为该主节点任期间用于标识在该任期中日志的全序关系;

如ZXID:(1, 2)表示第一个主节点任期内的第二条日志,其比ZXID:(1, 1)要新; 如ZXID:(2, 1)表示第一个主节点失效后,选举出的第二个主节点任期内的第一条日志,其比ZXID:(1, 2)要新;

ZAB协议定义了节点的几种状态:

Leading:当前节点为主节点;Following:当前节点为从节点;

Locking:当前节点处于参与选举状态;

Observing:当前节点处于观察状态(不参与选举);

当集群刚刚启动时,所有的节点处于Locking状态参与选举,每个节点都会像集群中的其他节点发送选举信息:该节点最大序列号、该节点的主机id,在集群刚刚启动时最大序列号都为0,而节点的主机id即为定义在zookeeper每个broker配置文件中的myid值;

进行比较大小的方法即为,序列号大的更大,序列号相同则myid大的更大;

如 (主机号:2,ZXID: 9) > (主机号:1,ZXID:9) > (主机号3,ZXID: 8)

因此对于当集群刚刚启动时,必然是主机号最大的节点称为主节点;同理对于集群运行过程中主节点失效时,我们亦按照相同的规则进行主节点的选举:

开始选举时,由于每个节点都不知道其他节点的状况,因而首轮选举投票都会向集群广播投给自己的选票;

选举过程中, 每个节点会存在几种收包情况:

  • 收到的(主机号,ZXID号)的选票信息小于节点自身则忽略该信息;
  • 收到的(主机号,ZXID号)的选票信息大于节点自身,则该节点会更改自身选票为这个比自己大的节点;
  • 收到了新的Leader节点的心跳包,并且心跳包中的(主机号,ZXID号)组合大于自身,则自身转变为Followering;
  • 节点自身获取了半数以上节点(Quorum)的选票后将自身节点状态修改为Leading,并向其他节点发送心跳包表示主节点已经产生,并结束选举;
  • 集群在当前选举中未产生合适的主节点,因而没有收到主节点的心跳信息,需要进行新一轮的选举。

Raft协议

与ZAB等全序广播协议类似,其通过term号 + index组成序列号做为集群的逻辑时钟,其中term号随着每增加一个任期便会进行递增从而维持不同主节点任期间日志的全序关系;而index则标识某条日志为该主节点任期内的第几条日志;

类似的,Raft也定义了节点角色:

Leader:当前集群的主节点;

Follower:当前集群的从节点;

Candidate:当前集群中正在参与选举的节点;

节点通过RequestVote RPCs 格式的消息来投票选举集群中的主节点;

Raft与ZAB大同小异,这里着重讲述Raft的一些优点:

集群刚刚启动时:与ZAB将每个节点都初始化为LOCKING不同,Raft节点启动时节点状态为Follower,并为每个节点随机初始化选举超时时间,增加选举超时时间的单位>>心跳包同步时间的单位的限制,导致集群中某个节点率先变为Candidate时,节点自增term号表示选举的任期,该节点向其他节点发送自身最大日志序列号LastLogIndex用于参与选举,参与投票给该节点并使其成为主节点后,该节点即可通过向子节点同步心跳包开始任期;

可见相比于ZAB,Raft引入随机化初始时间后在集群刚启动时可以避免繁琐的更改选票过程,因为可能在同一个时间只有一个节点状态变为Candidate;

【Azure 架构师学习笔记】- Azure Databricks (1) - 环境搭建 Databricks 已经成为了数据科学的必备工具,今时今日你已经很难抛开它来谈大数据,它常用于做复杂的ETL中的T, 数据分析,数据挖掘等,特别适用于做数据建模,机器学习等。那么顺应时代,现在也来看看这个工具的内容。首先要有一个环境,基于Azure 的Databricks简称ADB。托管在Azure 上的Databricks已经被Azure进行了很大的优化, 在搭建时只需要简单的几步即可拥有一个环境,不过要提醒一句ADB的集群并不便宜,用完马上删掉或停止, 否则一晚过百美金就会烧掉。 阅读详情

相关推荐

单相全桥逆变器中比例谐振(PR)控制的优化设计与实现

本文深入探讨了比例谐振(PR)控制在单相全桥逆变器中的优化设计与实现。通过对比PID控制,详细阐述了PR控制在50Hz基波频率处实现无静差跟踪和强抗干扰性的原理。文章提供了从理论建模、参数整定(Kp, Kr, ωc)到仿真验证的完整实战流程,并介绍了准比例谐振(QPR)控制以增强频率鲁棒性,以及多谐振点设计以抑制特定谐波等进阶优化方法,最终实现THD从3%降至1%以内的显著性能提升。

weixin_29056781的博客 177

主备 主从 主主模式,集群和分布式区别

一、主备、主从、主主 1、主备 1)简介 主:主机,备:备机。 主机的意思当然是以它为主了,读写都是主机上,而备机呢就是备用,默默的在背后吸收主机的数据,时刻待命着等待主机挂了之后取而代之(没这么坏哈哈)。因此在主机还活着的情况下,备机的唯一使命就是同步主机的数据,不对外提供服务。 2)优点:简单,主备之间只有数据同步,不需要考虑别的情况。 3)缺点:备机等于就拿来备份,备机一直处于备用状态形成资源浪费。 4)主备切换方式 ①人工切换,时效性差。 ②引入中间件。例如ZooKeeper、keepalived

weixin_47600479的博客 1万+

[代码开源]基于DistFlow的IEEE33和IEEE69节点最优潮流模型(OPF)实现与性能分析

本文详细介绍了基于DistFlow的IEEE33和IEEE69节点最优潮流模型(OPF)的实现与性能分析。通过代码开源,展示了如何从零搭建电力系统优化模型,解决配电网中的发电成本最小化问题。文章涵盖数据准备、模型实现细节、性能优化建议及常见问题解答,为电力系统研究者提供实用参考。

weixin_29103191的博客 709

数据库设计 - 主从一致性

一、What 主从一致性是指主库和从库在某一时刻数据可能会不一致。 二、Why 因为主从分组架构中,从库是需要时间来同步主库的数据库的,所以在某一时刻数据可能会有差别。比如主库0时刻修改了一条记录,500毫秒后才会同步到从库,那么从0时刻至500毫秒时刻主从的数据是不一致的,如果此时刚好有一个查询打到从库,则读到的是旧数据。 三、How 方案一:忽略不计 如果业务侧是可以忍受读到短时间的一个脏数据的(通常只要用户刷新一下就是正确数据),那么忽略不计其实是最经济实惠的方式,只要业务允许,那么我们的架构也可

永远sayYES的博客 1173

科研党必备:用MATLAB批量处理.mat文件数据的3种高效方法

本文为科研人员提供了使用MATLAB批量处理.mat文件数据的三种高效方法,涵盖智能数据加载、专业可视化与自动化报告生成。通过构建自动化框架、多维度数据画图策略及批量处理流程,帮助用户显著提升数据处理效率与图表专业性,解决海量实验数据的管理与分析难题。

weixin_29089057的博客 75

GIS技巧实战——ArcGIS Pro与SketchUp三维数据互导新方案

本文详细介绍了ArcGIS Pro与SketchUp三维数据互导的新方案,解决了传统方法中模型变形、格式不兼容等问题。通过64位架构的优势,实现高效、精准的三维模型转换,适用于城市规划、建筑设计等领域,提升工作效率。

weixin_29969209的博客 216

CenterOS的Hive环境的搭建日志及可能出现的问题和解决方法

前提:安装好hadoop集群和zookeeper。 安装步骤 一、Hive文件上传 1.上传安装包进行解压。使用tar命令进行解压,tar -zxvf apache-hive-2.0.0-bin.tar.gz -C /usr/local/src/ 2.切换到解压的目录下:cd /usr/local/src 3.移动文件 :mv /usr/local/src/apache-hive-2.0.0-bin /usr/local/src/hive 4.给文件加权限:chown -R hadoop:hadoop hi

共勉 1701

FFmpeg硬件加速实战:VAAPI驱动配置全攻略(含NVIDIA/Intel避坑指南)

本文详细解析了在Linux环境下配置FFmpeg使用VAAPI接口实现硬件加速的完整流程。针对NVIDIA、Intel等主流显卡,提供了从驱动安装、环境变量设置到多显卡切换的实战指南,并重点解决了闭源驱动冲突、国产系统适配等常见问题,帮助用户有效提升视频处理性能。

weixin_29306011的博客 462

分布式Redis集群--主从架构

Redis主从架构原理与部署

qq_44528357的博客 765

已解决-Parallels Desktop 16 网络初始化失败:您的虚拟机将继续正常运作,但将无法连接网络

我是月球挖掘机,相信不少打工人为了尝鲜已经更新了MacOS 11 Big Sur,当然,苹果每次的系统大更新,都会给我们软件的功能无法使用惊喜,这次的也不例外。 这个问题是我在更新macOS Big Sur之后,Parallels Desktop打开虚拟机后,提示: 报错信息 网络初始化失败:您的虚拟机将继续正常运作,但将无法连接网络 这是我的软件版本: 起初我以为是我的虚拟机坏了,结果重装了一遍虚拟机,没有任何用处。我开始在网上找方法,只能找到那个使用命令行打开软件的命令,除此之外没有了

月球挖掘机 5万+

S7-1200中OB100和OB20中断使用方法及示例程序说明(图文)

S7-1200中OB100和OB20中断使用方法及示例程序说明(图文)

Robot_PLC_HMI_Automation 8588

【分布式系统】 单机架构 | 分布式架构 | 集群 | 主从架构 | 分库分表 | 冷热分离 | 微服务

如果同一时刻,收到大量请求,就会导致某项资源不够用,导致服务器处理请求的时间变长,甚至出错。​ 引入多个主机/服务器,协同配合来完成一系列的工作(逻辑上的多个主机,一个主机上部署了多个服务器程序。用户的请求,先访问负载均衡器 / 网关服务器(单独的服务器),由负载均衡器(根据算法)来对请求进行分发。​ 引入分布式系统,是为了应对更高的请求量(并发量)的同时,也能应对更大的数据量。当集群中的某个主机挂了,其他的主机仍任可以承担服务,从而提高系统的可用性。​ 衡量服务器的性能,处理一次请求,要消耗多长时间。

WengJM的博客 2215

广东省道路工程检测练习试题(单选题)真题

1.一般项目的合格点率应达到( ),且不合格点的最大偏差值不得大于规定允许偏差值的1.5倍。A.不低于75%B.不低于80%C.不低于85%D.不低于90%答案:B2.进行土路基平整度检测时,当路宽小于9m,检测点数应为( )A.1B.2C.3D.4答案:A3.根据《城镇道路工程施工与质量验收规范》,在分部工程中,根据工种、材料、施工工艺等划分的是( )A.单位工程B.分项工程C.分部工程D.工序工程答案:B4.根据《城镇道路工程施工与质量验收规范》,土方路基压实度的检测频率为每1000m每压实层抽检( )

ZShy001238的博客 686

浅析数据一致性

浅析数据一致性

qq_44952664的博客 1343

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

浅析集群、分布式、负载均衡

集群、分布式、负载均衡

weixin_29634843的博客 1081

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

分布式缓存技术原理 浅析 - 20181120

分布式缓存技术原理 浅析 - 20181120 一.引言 缓存是 分布式系统 中重要组件,主要解决数据高并发,大数据场景下,热点数据访问的性能安全问题,提供高性能的数据快速访问。 缓存的原理:将数据放到更快的存储中、将数据缓存到离应用最近的位置、将数据缓存到离用户最近的位置。 二.缓存的流程(浅谈) 1.缓存大致流程: F5(不走缓存) —&amp;gt; 浏览器缓存/应用缓存 —&amp;gt; Ngi...

大竹薙子与豆子 的个人博客 1656

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

上一篇: 面试官:浅析微服务下保证事务数据一致性的几种方案
下一篇: 拿来吧你!原来我们之前都搞错了,Tomcat就该这么学才对!
JavaCaiy
博客等级 码龄6年 1万+粉丝 95原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值