可靠分布式系统- paxos 的直观解释

分布式计算中的一致性算法:Paxos vs Raft 提议者(Proposer):提出提案(包含提案编号和值)接受者(Acceptor):对提案进行投票(接受或拒绝)学习者(Learner):学习最终决策结果这种角色分离是Paxos灵活性的基础,也是理解算法的起点。 阅读详情

前言

paxos 是什么?

  • 在分布式系统中保证多副本数据强一致的算法。

paxos 有啥用?

  • 没有 paxos 的一堆机器, 叫做分布式;
  • 有 paxos 协同的一堆机器, 叫分布式系统。

Google Chubby 的作者 Mike Burrows 说过:

这个世界上只有一种一致性算法,那就是Paxos …

其他一致性算法, 都可以看做 paxos 在实现中的变体和扩展。

另外一个经常被提及的分布式算法是【raft】,raft 的贡献在于把一致性算法落地。因为【Leslie Lamport】的理论很抽象,要想把他的理论应用到现实中,还需要工程师完全掌握他的理论再添加工程必要的环节才能跑起来。

经常有人问起 raft 和 paxos 的区别,或在实现中应该选择哪个,在不了解 paxos 之前可能会有这种疑问。对于这个问题, 就像是被问及四则运算和算盘有什么区别,小店老板应该使用四则运算还是用算盘结账一样。

记得 Leslie Lamport 2015 年时来了一次北京,那时会场上有人也问了老爷子 paxos 和 raft 有啥区别。老爷子当时给出的回答是:没听过 raft…

raft 的核心可以认为是 multi paxos 的一个应用,对于要掌握一致性算法的核心内容,从 paxos 入手,更容易去掉无关干扰,直达问题本质。所以我们选择 paxos 作为了解一致性算法的入口,聊开了聊透了。

网络上 raft 比 paxos 流行,因为 raft 的描述更直白一些,实际上 raft比 paxos 更复杂。raft 详细的解释了“HOW”,缺少“WHY”的解释。paxos 从根本上解释清楚了“WHY”,但一直缺少一份通俗易懂的教程,以至于没有被更广泛的接受。所以就有了本文,一篇 paxos 入门教程,从基本的分布式中的复制的问题出发,通过逐步解决和完善这几个问题,最后推导出 paxos 的算法。

本文分为 2 个部分:

  • 前 1 部分是分布式一致性问题的讨论和解决方案的逐步完善,用人话得出 paxos 算法的过程。如果只希望理解 paxos 而不打算花太多时间深入细节, 只阅读这 1 部分就可以啦。
  • 第 2 部分是 paxos 算法和协议的严格描述。这部分可以作为 paxos 原 paper 的实现部分的概括。如果你打算实现自己的 paxos 或类似协议。需要仔细了解协议细节,希望这部分内容可以帮你节省阅读原 paper 的时间。

图片是 xp 之前做过的 paxos 分享使用的 slides,在此基础上加入了更多口头解释的内容。分布式系统要解决的问题

分布式系统要解决的问题

slide-01

paxos 的工作,就是把一堆运行的机器协同起来,让多个机器成为一个整体系统。在这个系统中,每个机器都必须让系统中的状态达成一致,例如三副本集群如果一个机器上上传了一张图片,那么另外 2 台机器上也必须复制这张图片过来。整个系统才处于一个一致的状态。

slide-02
我是无需解释的目录页。

lide-03
分布式系统的一致性问题最终都归结为分布式存储的一致性。像 aws 的对象存储可靠性要求是 9 ~ 13 个 9。
而这么高的可靠性都是建立在可靠性没那么高的硬件上的。

slide-04
几乎所有的分布式存储(甚至单机系统),参考【EC 第一篇:原理】,【EC 第二篇:实现】,【EC第三篇:极限】 都必须用某种冗余的方式在廉价硬件的基础上搭建高可靠的存储。而冗余的基础就是多副本策略,一份数据存多份。多副本保证了可靠性,而副本之间的一致,就需要 paxos 这类分布式一致性算法来保证。

slide-05
在早些年各种各样的复制策略都被提出来来解决各种场景下的需要。除了复制的份数之外,各种各样的算法实际上都是在尝试解决一致的问题。从下一页开始简单回顾下各种复制策略,看看他们的优缺点以及 paxos 如何解决副本之间一致性的问题。

不太完美的复制策略


slide-06
无需解释的目录页

slide-07
主从异步复制是最简单的策略之一,它很容易实现,但存在一个问题:客户端收到一个数据已经安全(OK)的信息,跟数据真正安全(数据复制到全部的机器上)在时间上有一个空隙,这段时间负责接收客户端请求的那个机器(master)如果被闪电击中或被陨石砸到或被打扫卫生的大姐踢断了电源,那数据就可能会丢失。因此它不是一个可靠的复制策略(使用主从异步复制要求你必须相信宇宙中不存在闪电陨石和扫地大姐)。

slide-08
跟主从异步复制相比,主从同步复制提供了完整的可靠性:直到数据真的安全的复制到全部的机器上之后,master 才告知客户端数据已经安全。但主从同步复制有个致命的缺点就是整个系统中有任何一个机器宕机,写入就进行不下去了。相当于系统的可用性随着副本数量指数降低。

slide-09
然鹅,在同步和异步之间,做一个折中,看起来是一个不错的方案。这就是半同步复制。它要求 master 在应答客户端之前必须把数据复制到足够多的机器上,但不需要是全部。这样副本数够多可以提供比较高的可靠性;1台机器宕机也不会让整个系统停止写入。但是它还是不完美,例如数据 a 复制到 slave-1,但没有到达 slave-2;数据 b 复制达到了 slave-2 但没有到达 slave-1,这时如果 master 挂掉了需要从某个 slave 恢复出数据,任何一个 slave 都不能提供完整的数据。所以在整个系统中,数据存在某种不一致。

slide-10
为了解决半同步复制中数据不一致的问题,可以将这个复制策略再做一改进:多数派读写:每条数据必须写入到半数以上的机器上。每次读取数据都必须检查半数以上的机器上是否有这条数据。在这种策略下,数据可靠性足够,宕机容忍足够,任一机器故障也能读到全部数据。

slide-11
然鹅多数派读写的策略也有个但是,就是对于一条数据的更新时,会产生不一致的状态。例如:

  • node-1,node-2 都写入了 a=x
  • 下一次更新时 node-2,node-3 写入了 a=y

这时,一个要进行读取 a 的客户端如果联系到了 node- 1和 node-2,它将看到 2 条不同的数据。为了不产生歧义,多数派读写还必须给每笔写入增加一个全局递增的时间戳。更大时间戳的记录如果被看见,就应该忽略小时间戳的记录。这样在读取过程中,客户端就会看到 a=x₁,a=y₂ 这 2 条数据,通过比较时间戳 1 和 2 发现 y 是更新的数据,所以忽略 a=x₁ 这样保证多次更新一条数据不产生歧义。

slide-12
是的,但是又来了。这种带时间戳的多数派读写依然有问题。就是在客户端没有完成一次完整的多数派写的时候:例如,上面的例子中写入 a=x₁ 写入了 node-1 和 node-2,a=y₂ 时只有 node-3 写成功了,然后客户端进程就挂掉了,留下系统中的状态如下:

这时另一个读取的客户端来了:

  • 如果它联系到 node-1 和 node-2,那它得到的结果是 a=x₁
  • 如果它联系到 node-2 和 node-3,那它得到的结果是 a=y₂

整个系统对外部提供的信息仍然是不一致的

slide-13
现在我们已经非常接近最终奥义了,paxos 可以认为是多数派读写的进一步升级,paxos 中通过 2 次原本并不严谨的多数派读写,实现了严谨的强一致 consensus 算法。

从多数派读写到 paxos 的推导

slide-14
首先为了清晰的呈现出分布式系统中的核心问题:一致性问题, 我们先设定一个假象的存储系统,在这个系统上,我们来逐步实现一个强一致的存储,就得到了 paxos 对一致性问题的解决方法。

slide-15
在实现中,set 命令直接实现为一个多数派写,这一步非常简单。而 inc 操作逻辑上也很简单,读取一个变量的值 i₁,给它加上一个数字得到 i₂,再通过多数派把 i₂ 写回到系统中。

slide-16
冰雪如你一定已经看到了这种实现方式中的问题:如果有 2 个并发的客户端进程同时做这个 inc 的操作,在多数派读写的实现中,必然会产生一个 Y 客户端覆盖 X 客户端的问题,从而产生了数据更新点的丢失。而 paxos 就是为了解决这类问题提出的,它需要让 Y 能检测到这种并发冲突,进而采取措施避免更新丢失。

slide-17
提取一下上面提到的问题:让 Y 去更新的时候不能直接更新 i₂ 而是应该能检测到 i₂ 的存在,进而将自己的结果保存在下一个版本 i₃ 中,再写回系统中。而这个问题可以转化成:i 的每个版本只能被写入一次,不允许修改。如果系统设计能满足这个要求,那么 X 和 Y 的 inc 操作就都可以正确被执行了。

slide-18
于是我们的问题就转化成一个更简单,更基础的问题:如何确定一个值(例如 iⱼ)已经被写入了。直观来看,解决方法也很简单,在 X 或 Y 写之前先做一次多数派读,以便确认是否有其他客户端进程已经在写了,如果有,则放弃。

slide-19
但是! 这里还有个并发问题,X 和 Y 可能同时做这个写前读取的操作,并且同时得出一个结论:还没有其他进程在写入,我可以写。这样还是会造成更新丢失的问题。

slide-20
为了解决上面的问题,存储节点还需要增加一个功能,就是它必须记住谁最后一个做过写前读取的操作。并且只允许最后一个完成写前读取的进程可以进行后续写入,同时拒绝之前做过写前读取的进程写入的权限。

可以看到,如果每个节点都记得谁读过,那么当 Y 最后完成了写前读取的操作后,整个系统就可以阻止过期的 X 的写入。

这个方法之所以能工作也是因为多数派写中,一个系统最多只能允许一个多数派写成功。paxos 也是通过 2 次多数派读写来实现的强一致。

slide-21
以上就是 paxos 算法的全部核心思想了,是不是很简单?剩下的就是如何实现的简单问题了:如何标识一个客户端如 X 和 Y,如何确认谁是最后一个完成写前读写的进程,等等。

slide-22
【Leslie Lamport】就这么把这么简单的一个算法写了个 paper 就获得了图领奖!骚年,改变世界就这么容易!

paxos 算法描述

接下来的篇幅中我们将用计算机的语言准确的描述整个 paxos 运行的过程。


slide-23
首先明确要解决的问题:

slide-24
我们要介绍的 paxos 实际上是最朴实的 classic paxos,在这之后我们顺提下几个老爷子对 paxos 的优化,multi paxso 和 fast paxos,它们都是针对 paxos 的理论层面的优化。

slide-25
paxos 算法中解决了如何在不可靠硬件基础上构建一个可靠的分布式系统的方法。但 paxos 核心算法中只解决网络延迟/乱序的问题,它不试图解决存储不可靠和消息错误的问题,因为这两类问题本质上跟分布式关系不大,属于数据校验层面的事情。有兴趣可以参考【Byzantine Paxos】的介绍。

slide-26
本文尽量按照【Classic Paxos】的术语来描述。

老爷子后面的一篇 【Fast Paxos】实现了 fast-paxos,同时包含了 classic-paxos,但使用了一些不同的术语表示。
  • Proposer 可以理解为客户端。
  • Acceptor 可以理解为存储节点。
  • Quorum 在 99% 的场景里都是指多数派,也就是半数以上的 Acceptor。
  • Round 用来标识一次 paxos 算法实例,每个 round 是 2 次多数派读写:算法描述里分别用 phase-1 和 phase-2 标识。同时为了简单和明确,算法中也规定了每个 Proposer 都必须生成全局单调递增的 round,这样 round既能用来区分先后也能用来区分不同的 Proposer(客户端)。

slide-27
在存储端(Acceptor)也有几个概念:

  • last_rnd 是 Acceptor 记住的最后一次进行写前读取的 Proposer(客户端)是谁,以此来决定谁可以在后面真正把一个值写到存储中。
  • v 是最后被写入的值。
  • vrnd 跟 v 是一对,它记录了在哪个 Round 中 v 被写入了。

v 和 vrnd 是用于恢复一次未完成的 paxos 用的。一次未完成的 paxos 算法运行可能留下一些没有达到多数派的值的写(就像原生的多数派写的脏读的问题), paxos 中通过 vrnd 来决定哪些值是最后写入的,并决定恢复哪个未完成的 paxos 运行。后面我们会通过几个例子来描述 vrnd 的作用。

slide-28
首先是 paxos 的 phase-1,它相当于之前提到的写前读取过程。它用来在存储节点(Acceptor)上记录一个标识:我后面要写入;并从 Acceptor 上读出是否有之前未完成的 paxos 运行。如果有则尝试恢复它;如果没有则继续做自己想做的事情。
我们用类似 yaml 的格式来描述 phase-1 的请求/应答的格式:

phase-1 成功后,acceptor 应该记录 X 的 rnd=1,并返回自己之前保存的 v 和 vrnd。

slide-29
Proposer X 收到多数(quorum)个应答,就认为是可以继续运行的。如果没有联系到多于半数的 acceptor,整个系统就 hang 住了,这也是 paxos 声称的只能运行少于半数的节点失效。这时 Proposer 面临 2 种情况:

  • 所有应答中都没有任何非空的 v,这表示系统之前是干净的,没有任何值已经被其他 paxos 客户端完成了写入(因为一个多数派读一定会看到一个多数派写的结果),这时 Proposer X 继续将它要写的值在 phase-2 中真正写入到多于半数的 Acceptor 中。
  • 如果收到了某个应答包含被写入的 v 和 vrnd,这时,Proposer X 必须假设有其他客户端(Proposer)正在运行,虽然 X 不知道对方是否已经成功结束, 但任何已经写入的值都不能被修改!所以 X 必须保持原有的值。于是 X 将看到的最大 vrnd 对应的 v 作为 X 的 phase-2 将要写入的值。这时实际上可以认为 X 执行了一次(不知是否已经中断的)其他客户端(Proposer)的修复。

slide-30
在第 2 阶段 phase-2,Proposer X 将它选定的值写入到 Acceptor ,这个值可能是它自己要写入的值,或者是它从某个 Acceptor 上读到的 v(修复)。同样用类似 yaml 的方式描述请求应答:

slide-31
当然这时(在 X 收到 phase-1 应答,到发送 phase-2 请求的这段时间),可能已经有其他 Proposer 又完成了一个 rnd 更大的 phase-1,所以这时 X 不一定能成功运行完 phase-2。

Acceptor 通过比较 phase-2 请求中的 rnd,和自己本地记录的 rnd,来确定 X 是否还有权写入。如果请求中的 rnd 和 Acceptor 本地记录的 rnd 一样,那么这次写入就是被允许的, Acceptor 将 v 写入本地,并将 phase-2 请求中的 rnd 记录到本地的 vrnd 中。

用例子看 paxos 运行

好了,paxos 的算法描述也介绍完了。这些抽象的算法描述,其中的规则覆盖了实际所有可能遇到的情况的处理方式。一次不太容易看清楚它们的作用,所以我们接下来通过几个例子来看看 paxos 如何处理各种不同状态并最终使整个系统的状态达成一致。

slide-32
没冲突的例子不解释了

slide-33
X 和 Y 同时运行 paxos,Y 迫使 X 中断的例子:

  • X 成功完成了写前读取(phase-1),将 rnd=1 写入到左边 2 个 Acceptor。
  • Y 用更大的 rnd=2,覆盖了 X 的 rnd,将 rnd=2 写入到右边 2 个Acceptor。
  • X 以为自己还能运行 phase-2,但已经不行了,X 只能对最左边的 Acceptor 成功运行 phase-2,而中间的 Acceptor 拒绝了 X 的 phase-2。
  • Y 对右边 2 个 Acceptor 成功运行了 phase-2,完成写入 v=y,vrnd=2。

slide-34
继续上面的例子,看 X 如何处理被抢走写入权的情况:这时 X 的 phase-2 没成功,它需要重新来一遍,用更大的 rnd=3。

  • X 成功在左边 2 个 Acceptor 上运行 phase-1 之后,X 发现了 2 个被写入的值:v=x,vrnd=1 和 v=y,vrnd=2;这时 X 就不能再写入自己想要写入的值了。它这次 paxos 运行必须不能修改已存在的值,这次 X 的 paxos 的运行唯一能做的就是,修复(可能)已经中断的其他 proposer 的运行。
  • 这里 v=y,vrnd=2 是可能在 phase-2 达到多数派的值。v=x,vrnd=1 不可能是,因为其他 proposer 也必须遵守算法约定,如果 v=x,vrnd=1 在某个 phase-2 达到多数派了,Y 一定能在 phase-1 中看到它,从而不会写入 v=y, vrnd=2。

因此这是 X 选择 v=y,并使用 rnd=3 继续运行,最终把 v=y,vrnd=3 写入到所有 Acceptor 中。

slide-35
Paxos 还有一个不太重要的角色 Learner,是为了让系统完整加入的,但并不是整个算法执行的关键角色,只有在最后在被通知一下。

Paxos 优化

slide-36
第一个优化 multi-paxos:

paxos 诞生之初为人诟病的一个方面就是每写入一个值就需要 2 轮 rpc:phase-1 和 phase-2。因此一个寻常的优化就是用一次 rpc 为多个 paxos 实例运行 phase-1。

例如,Proposer X 可以一次性为 i₁~i₁₀ 这 10 个值, 运行 phase-1,例如为这 10 个 paxos 实例选择 rnd 为 1001,1002…1010,这样就可以节省下 9 次 rpc,而所有的写入平均下来只需要 1 个 rpc 就可以完成了。这么看起来就有点像 raft 了:

  • 再加上 commit 概念(commit可以理解为: 值v送达到多数派这件事情是否送达到多数派了)
  • 和组成员变更(将 quorum 的定义从“多于半数”扩展到“任意2个quourm必须有交集”)

slide-37
第二个优化 fast-paxos:
fast-paxos 通过增加 quorum 的数量来达到一次 rpc 就能达成一致的目的。如果 fast-paxos 没能在一次 rpc 达成一致,则要退化到 classic paxos。

slide-38
fast-paxos 为了能在退化成 classic paxos 时不会选择不同的值, 就必须扩大 quorum 的值。也就是说 fast-round 时,quorum 的大小跟 classic paxos 的大小不一样。同样我们先来看看为什么 fast-quorum 不能跟 classic-quorum 一样,这样的配置会引起 classic 阶段回复时选择错误的值 y₀:

slide-39
要解决这个问题,最粗暴的方法是把 fast-quorum 设置为 n,也就是全部的 acceptor 都写入成功才认为 fast-round 成功(实际上是退化到了主从同步复制)。这样,如果 X 和 Y 两个 proposer 并发写入,谁也不会成功,因此 X 和 Y 都退化到 classic paxos 进行修复,选任何值去修复都没问题。因为之前没有 Proposer 认为自己成功写入了。

如果再把问题深入下,可以得出,如果 classic paxos 的 quorum 是 n/2+1,那么 fast-round 的 quorum 应该是大于 ¾n,¾ 的由来可以简单理解为:在最差情况下,达到 fast-quorum 的 acceptor 在 classic-quorum 中必须大于半数,才不会导致修复进程选择一个跟 fast-round 不同的值。

slide-40
下面是一个 fast-round 中 X 成功,Y 失败的冲突的例子:X 已经成功写入到 4(fast-quorum>¾n)个 acceptor,Y 只写入 1 个,这时 Y 进入 classic-round 进行修复,可以看到,不论 Y 选择哪 3(classic quorum)个 acceptor,都可以看到至少 2 个 x₀,因此 Y 总会选择跟 X 一样的值,保证了写入的值就不会被修改的条件。

slide-41
再来看一个 X 和 Y 都没有达到 fast-quorum 的冲突:这时 X 和 Y 都不会认为自己的 fast-round 成功了,因此修复过程选择任何值都是可以的。最终选择哪个值,就回归到 X 和 Y 两个 classic-paxos 进程的竞争问题了。最终会选择 x₀ 或 y₀ 中的一个。

其他

slide-42
一个很容易验证的优化,各种情况下都能得到一致的结果。

参考链接

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

文章首发于公众号: Databend

可靠分布式系统基础-paxos的直观解释 立即下载

相关推荐

【electron】- 从零到一:在electron-vite项目中集成better-sqlite3的工程化实践

本文详细介绍了在electron-vite项目中集成better-sqlite3数据库的完整工程化实践。针对原生模块的编译挑战,提供了从环境配置、路径规划、服务封装到IPC通信的解决方案,并重点解决了开发与生产环境的数据库路径分离及打包部署等核心问题,帮助开发者构建稳定高效的Electron桌面应用数据层。

weixin_29306571的博客 208

可靠分布式系统-paxos的直观解释

前言 paxos是什么? --> 在分布式系统中保证多副本数据强一致的算法. paxos有啥用? --> 没有paxos的一堆机器, 叫做分布式; 有paxos协同的一堆机器, 叫分布式系统. Google Chubby的作者Mike Burrows说过:这个世界上只有一种一致性算法,那就是Paxos … 其他一致性算法, 都可以看做paxos在实现中的变体和扩展. 另外一个经常被提及的分布式算法是raft, raft的贡献在于把一致性算法落地. 因为 Leslie Lamport 的理论很

肥叔菌的博客 894

feko金属球远场RCS双站

feko金属球远场RCS双站

a264672的博客 6916

Paxos开源实现

腾讯微信开源实现 https://github.com/tencent-wechat/phxpaxos/blob/master/README.zh_CN.md

陈海峰的博客 3446

微信小程序测试号开发后上传按钮灰色?三步快速切换正式AppID

本文详细解析了微信小程序测试号开发后上传按钮灰色的原因,并提供了三步快速切换正式AppID的解决方案。通过注册正式小程序账号、修改项目配置和重新编译上传,开发者可以轻松解决上传按钮不可用的问题,确保小程序顺利上线。

weixin_29291185的博客 1578

基于STM32的智能台灯PWM调光与人体感应融合设计

本文详细介绍了基于STM32单片机的智能台灯设计方案,重点讲解了PWM调光技术与人体感应模块的融合实现。通过STM32的高级定时器产生精准PWM信号控制LED亮度,结合红外传感器实现人来灯亮、人走灯灭的智能体验,同时集成光敏传感实现环境自适应调光,打造高效节能的智能照明解决方案。

threejs5artist的博客 827

[读论文] Amazon Aurora: 如何不使用一致性协议实现分布式数据库

这个是Amazon Aurora 发的第二篇文章, 发在2018 年SIGMOD上, 题目很吸引人避免在I/O, commit, 成员变更的过程使用一致性协议. 在大家都在使用一致性协议(raft, multi-paxos)的今天, Aurora 又提出来了不用一致性协议来做, 主要观点是现有这些协议太重, 而且会带来额外的网络开销, 也可以理解, 毕竟...

weixin_34219944的博客 576

ros2笔记-4.6使用launch启动脚本

ros2 4.6 使用launch启动多节点

bohu83的博客 1314

区块链共识机制:分布式系统的Paxos协议

前言:第一次接触paxos可能很多人不理解这玩意儿有啥用,近几天一直在研究paxos,不敢说理解的多到位,但是把自己理解的记录下来,供大家参考。文章主要参考知行学社的《分布式系统与Paxos算法视频课程》和知乎话题https://zhuanlan.zhihu.com/p/29706905,希望能对大家有帮助。 一、什么是Paxos,解决什么问题? (一)Paxos是分布式系统中,在异步通信环境...

yangwei256的博客 1634

在ros中进行多传感器融合定位

ROS 中的 robots_localization 包是一个非常有用的包,可以使用各种卡尔曼滤波器融合任意数量的传感器!我们将使用它将全局姿势数据(x、y、z 和orientation)与机器人上的现有传感器融合,以实现更强大的定位!

如果想成为中心,那么就到中心去吧。 3005

【DRAM存储器四十七】LPDDR5介绍--LPDDR5的低功耗技术之DVFS

讲述LPDDR5的DVFSC和DVFSQ的工作原理和要求

highman110的博客 904

深入浅出Paxos分布式一致性算法

深入浅出Paxos分布式一致性算法

学亮编程手记 674

YOLOv11改进 | Conv/卷积篇 | 利用Hype-YOLO提出MANet增强YOLOv11特征提取能力

本文给大家带来的最新改进机制是由Hype-YOLO提出的MANet结构,其是一种C3、C2f、C3k2的升级版,用于增强特征提取能力。MANet可以理解为C2f的升级版,其整合了DSConv和C2f结构,这些模块的组合使得信息流动更加丰富,有助于在训练过程中提高梯度流动,从而增加基础特征的语义深度。官方发布的数据中HypeYOLO的精度是高于YOLOv11的,本文内容包含MAnet替换C3k2的教程以及原理介绍。欢迎大家订阅我的专栏一起学习YOLO,购买专栏读者联系读者入群获取进阶项目文件!

Snu77的博客 2166

分布式系统Paxos算法

转载 原地址:https://www.jdon.com/artichect/paxos.html 主要加一个对应场景,如:Spring Cloud 的 Consul 集权之间的通信,其实是Raft算法,ZK集群之间的通信,其实是ZAB协议,算是 Strong Leader的Raft 转载于:https://www.cnblogs.com/yidiandhappy/p/9913274.ht...

weixin_34377065的博客 127

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

通俗易懂关于Paxos的直观解释

X,Y同时进行写前读取的时候,节点记录最后执行一个执行的客户端,然后只允许最后一个客户端进行写入操作。使用这个策略变量i的每个版本可以被安全的存储。然后Leslie Lamport写了一篇论文,并且获得了图灵奖。

京东科技开发者 650

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

分布式算法 Paxos 的直观解释 (TL;DR)

前言paxos是什么?在分布式系统中保证多副本数据强一致的算法.paxos有啥用?没有paxos的一堆机器, 叫做分布式;有paxos协同的一堆机器, 叫分布式系统.Google Chu...

weixin_45583158的博客 665

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

分布式系统中的Paxos协议

分布式系统设计中的核心挑战之一是CAP定理,它指出在分区容忍性(Partition Tolerance)、可用性(Availability)和一致性(Consistency)之间必须做出权衡。Paxos协议是解决分布式系统中一致性问题的经典算法,由Leslie Lamport提出,通过两阶段协议(Prepare和Accept)确保数据一致性。Paxos的核心目标包括安全性、活性和容错性,允许系统在多数节点存活的情况下达成一致。尽管Paxos理论完备且容错性强,但其实现复杂且存在活锁问题,因此衍生出Multi

m0_59452630的博客 1004

Paxos算法详解

Paxos算法是分布式系统的一个基础架构。

slx_share的博客 1643

小学生也可以轻松掌握的Paxos/Raft算法奥秘

Paxos 解决的是分布式系统中达成共识的一个最简单的问题,即多个节点如何在可能发生故障的情况下就某个值达成一致。一致性(Agreement): 所有的节点必须对同一个值达成一致,且达成一致后不会再改变合法性(Validity): 这个达成一致的值只能来自于某个节点的提议。终止性(Termination): 最终所有节点会达成一致。以上条件也被称为 Safety + Liveness,这是典型的既要又要,既要正确又要可行。

canonical的博客 1472

Paxos算法

共识算法Paxos 算法 共识问题 Paxos算法描述 伪代码 直观理解 容错性分析 共识问题 什么是共识问题? 粗略地说,该问题是在一个或多个进程提议了一个值应当是什么后,使进程对这个值达成一致协定。 解决什么问题? 在一个计算机提议一个动作后,控制引擎的所有计算机要决定“继续”还是“放弃”。

骚铭科技SM-Tech! 1331

分布式系统中的一致性算法研究与应用:Paxos、Raft 等

在分布式系统中,由于存在多个节点,数据的一致性成为了一个至关重要的问题。当多个节点对相同的数据进行读写操作时,如何确保它们最终能达成一致的状态,是分布式系统设计的核心挑战之一。一致性算法就是为了解决这个问题而诞生的,它使得分布式系统中的各个节点能够在存在故障、网络延迟等复杂情况下,依然保证数据的一致性和可靠性。本文将深入研究主流的一致性算法,包括 Paxos、Raft、ZAB 等,并结合实际的分布式系统项目,展示它们的应用。

数字魔方操控师的博客 612

理解 Paxos

Paxos是前段时间刚获得图灵奖的大神Leslie Lamport所提出的,是用来解决分布式系统中的一致性问题的算法。该算法对于分布式系统的重要性,在这里不再赘言。了解过Paxos的朋友应该都知道,要完全理解Paxos不是一件容易的事。本文是笔者在学习Paxos时,用来帮助自己更好的理解Paxos所梳理的一遍文章,希望能够通过通俗易懂的方式,把Paxos理解清楚。 Paxos要解决的问...

215

Paxos 和 Raft 是分布式系统中解决共识问题(Consensus)的两个核心算法

(Consensus)的两个核心算法,用于确保多个节点在不可靠网络环境下对某个值或状态达成一致。想象一群分散在不同地点的人(节点),需要通过可能丢失信息的信使(网络)达成一个共同决定。Raft 的出现让共识算法从"黑魔法"变成了"工程师的标准工具",是现代分布式系统的。:数学上极其严谨,安全性(Safety)和活性(Liveness)都有证明。:出了名的难以理解,Lamport 本人都说"它简单到连实现都不需要":没有明确实现细节,导致"一千个人有一千种 Paxos 实现"

xuukai的博客 690

别再死磕Paxos了!用Raft协议5分钟搞定你的分布式系统一致性难题

本文深入探讨了Raft协议在分布式系统一致性中的优势,对比Paxos的复杂性,Raft通过明确的领导权机制、直观的日志管理和模块化设计,显著降低了实现难度。文章还提供了性能对比、主流开源实现选型建议及从Paxos迁移到Raft的实战指南,帮助开发者快速解决分布式系统一致性难题。

weixin_26789847的博客 329
上一篇: 从 Git 到 Databend Fuse Engine 存储引擎
下一篇: Databend 全链路追踪
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值