【虾说区块链】分布式系统共识的FLP不可能原理与CAP猜想

大咖说 | 胡志琳:分布式系统概述 对话 | 大咖 本期参与交流的技术大咖是:胡志琳 胡志琳,资深系统研发,清华大学直博,曾系统设计并实现某重点军工项目的关键设备,曾就职于滴滴出行等知名互联网公司。 热衷于区块链系统的理论研究和工程实现,熟练掌握Bitcoin、Ethereum和EOS等区块链技术。 主要负责分布式系统共识算法的分析、设计与研发,以及密码学和零知识证明等在实际业务中应用落地。 了解分布式系统,读这一遍文章就... 阅读详情



欢迎收听「虾说区块链」。现在区块链这个概念在互联网上相当火热,这里简单做一个普及,不涉及项目推广投资,单纯地对区块链相关基础知识概念作一个说明讲解。本人区块链技术爱好者,结合相关区块链资料总结整理了「虾说区块链」,也是自己一个学习笔记,涉及相关内容如理解有误,也请及时指正。


1
共识机制基础概念


首先,共识机制在分布式系统中是无解的,为什么说是无解,众多的节点之间通信,必然存在网络自身不可靠的原因、主机故障原因、恶意操控等原因,故是无法保证实现完全的共识,这里不是笔者随便下的结论,Fischer, Lynch 和 Patterson三位在1985年就提出了一个FLP不可能原理:在网络可靠的前提下,任意节点失效,一个或者多个的最小化异步模型系统中,不可能存在一个解决一致性问题的确定性算法。这三位的论文后来获得了Dijkstra奖。这一理论已被可靠的论证过,所以不用再花大力气在异步分布式系统中去设计一个完全一致的共识算法。(这里不深究FLP原理,有兴趣可以百度Lynch的<Distributed Algorithms>)


FLP说明在异步分布式系统中完全一致性是不可能的,但这是一个科学理论,应用到现实工程中,我们可以牺牲一些代价把不可能变成可能,这就是科学和工程的最大区别,就像你炒股吧,官方肯定会告诉你股市有风险,入市需谨慎,但你肯定认为在你高超的操作下还是能赚钱的。那在计算机工程领域中2000年 Eric Brewer在ACM 研讨会提出猜想,CAP猜想,CAP拆解后就是一致性(Consistency)所有节点上的数据时刻保持同步、可用性(Availablity)每个请求都能接受到一个响应不论响应成功或失败、分区容忍性(Partition)系统内部有消息失效的情况下仍能提供持续服务。

 


实际运用在工程环境下,适当取舍这三者,一致性、可用性和分区容错性三者无法在分布式系统中被同时满足,并且最多只能满足其中两个。这样就出现了以下三种情况:


1)CA without P:如果不要求P(不允许分区),则C(强一致性)和A(可用性)是可以保证的。但其实分区不是你想不想的问题,而是始终会存在,因此CA的系统更多的是允许分区后各子系统依然保持CA。Zookeeper为此类设计。


2)CP without A:如果不要求A(可用),相当于每个请求都需要在Server之间强一致,而P(分区)会导致同步时间无限延长,如此CP也是可以保证的。很多传统的数据库分布式事务都属于这种模式。MongoDB、Redis为此类设计。


3)AP wihtout C:要高可用并允许分区,则需放弃一致性。一旦分区发生,节点之间可能会失去联系,为了高可用,每个节点只能用本地数据提供服务,而这样会导致全局数据的不一致性。CouchDB、cassandra为此类设计。


CAP猜想出现至今都一直存在很多质疑,有人提出概念的混乱、不适应数据库事务架构等各种质疑,2002年对CAP猜想被证实为一个定理,证明了CAP三者不可能同时满足,但没有证明任意两者都可满足,对C\A\P作了更明确的声明:

(论文原文:http://lpd.epfl.ch/sgilbert/pubs/BrewersConjecture-SigAct.pdf),


最初这个辩证是在webserver集群环境下的。


1)C:一致性被称为原子对象,任何的读写都应该看起来是“原子“的,或串行的。写后面的读一定能读到前面写的内容。所有的读写请求都好像被全局排序。


2)A:对任何非失败节点都应该在有限时间内给出请求的回应。(请求的可终止性)


3)P:允许节点之间丢失任意多的消息,当网络分区发生时,节点之间的消息可能会完全丢失。


质疑一直存在。2012年lynch重写论文,再次对CAP做了进一步的解释:


把CAP理论的证明局限在原子读写的场景,并申明不支持数据库事务之类的场景。


一致性场景不会引入用户agent,只是发生在后台集群之内。


把分区容错归结为一个对网络环境的陈述,而非之前一个独立条件。这实际上就是更加明确了概念。


引入了活性(liveness)和安全属性(safety),在一个更抽象的概念下研究分布式系统,并认为CAP是活性与安全熟悉之间权衡的一个特例。其中的一致性属于liveness,可用性属于safety。


把CAP的研究推到一个更广阔的空间:网络存在同步、部分同步;一致性性的结果也从仅存在一个到存在N个(部分一致),引入了通信周期round,并引用了其他论文,给出了为了保证N个一致性结果,至少需要通信的round数。

(论文原文:http://groups.csail.mit.edu/tds/papers/Gilbert/Brewer2.pdf)


谈论了以上CAP原理,目的就是为了说明共识机制是相对的,目前没有一种决对完美的共识机制,所有各种共识机制都是理论结合工程实践产生的。


2
拜占庭问题


拜占庭将军问题就会时常看到,拜占庭将军问题是一个协议问题,拜占庭帝国军队的将军们必须全体一致的决定是否攻击某一支敌军。问题是这些将军在地理上是分隔开来的,并且将军中存在叛徒。叛徒可以任意行动以达到以下目标:欺骗某些将军采取进攻行动;促成一个不是所有将军都同意的决定,如当将军们不希望进攻时促成进攻行动;或者迷惑某些将军,使他们无法做出决定。如果叛徒达到了这些目的之一,则任何攻击行动的结果都是注定要失败的,只有完全达成一致的努力才能获得胜利(来自百度百科)。


 

这里不讨论军事问题,把拜占庭将军问题引入到计算机领域,在分布式系统中,网络中各节点由于硬件设备故障、网络延时或故障、恶意攻击导致整个系统中出现不可预知的错误。把拜占庭将军问题嵌入到分布式系统中说明:


前提:

1.网络中各节点信道可靠。

2.网络中节点数可知为n。


分布式网络中的众多节点,同时更新或者删除数据,必须达到共识的状态,但是有些节点会出现不确定故障或者恶意篡改,导致分布式节点数据不一致,这个问题现实中是不可避免的。那么要求系统能正常运行,这里引入一个容错的概念,可以在不完全一致的状态下,系统仍然可以正常运行。


所谓的正常运行有两种概念:

  1. 数据的正常更新后提供服务。

  2. 由于故障节点过多数据不更新提供服务,再发起一次共识。


如何来定义这个正常运行,这个需要有一个取舍,因为结合实际应用很多因素需要考虑,理论的严谨和工程的取舍这个一般都会有权衡。下面说明通过容错达成的正常运行。


设置一个变量x,节点数为n,假设其中一个节点为i。通过各种条件设置应用场景:


节点i发布请求x,诚实节点收到的是(x1、x2...xi...xn)集合,这些集合内x值一致,那么从i的诚实性考虑,有可能i是诚实节点、也有可能i本身就还是恶意节点。


i节点是诚实节点,那么其他诚实节点也同样发送x值。


结合1.2,我们不管i节点的诚实性,所有诚实节点都收到一样的x值集合。


        

这样网络中节点收到的请求更新一致,如果i是诚实节点,那么保证了正常运行。这种情况将1.2结合系统达到了一致性和正常运行的两个要求。


但是这是理想化的状态在现实网络节点中刚才的假设都是理想化的。通过执行流程来看下:


再假设三个前提:1.x发送都可正确传达到其余节点中。2.接收节点知道发送节点。3.节点知道x消息完整。


那么网络中n个节点,恶意节点为m个,那么n>3m+1。


i发送x给每一个节点,每个节点收到x则更新、未收到默认就为不操作。


每个节点收到i发送x更新后,恶意节点m发送y其余节点,发送是一个递归过程。


每个节点收集i发送x信息,恶意节点m接收x值,不发送至其余剩余节点。


下面通过图形说明:


 

这里n=3,m=1,那么节点i和节点B是诚实节点,但是B节点不知道应该是x还是y是更新。再引入一个节点:


 

这种情况下i、b、c节点是诚实节点,x值在b、c集合中出现2次,y出现一次,故达到了共识。这个前提是i是诚实节点,如果i本身就不是诚实节点,i发送不同三个值,那整个系统无法共识。


n >3m+1 m=2 n=7


这个过程就会比较复杂了,假设a和d是恶意节点,那么每个诚实节点通过递归方式去接受其余节点的信息,然后收集的到信息集合中通过多数原则来确定。


 

b 、c、e、f为诚实节点加上i,系统达成共识。当然i如果是恶意节点,发送不同消息给下面节点,那么共识将无法成立,但是如果i发送是有一半是x值一半是不同值,可以推理下。以上推理过程在拜占庭将军问题中称为口头协议。追溯我们之前写的三个假设中,如果接收者知道发送者,那么就有书面协议。下面对书面协议再作说明:


所谓书面协议,就是网络节点在传输过程中添加一个签名,任何节点可以验证签名可靠性。


还是用节点收到的数据集合v,i节点发送x值给各个节点,节点收到v(x),然后发送v(x):i给其余节点,如果收到的一串值中没有v(x),那么就把这个值添加到自己的v集合中。每个节点收到值后,通过choice函数判断。在口头协议中三个节点当i节点发送不同值的时候无法一致,那么这里加上签名后可以看下,以图说明:


 

这种情况下最后a、b节点接收信息后都是x、y那么在系统中两个节点信息一致。这就解决了3节点口头协议不能完成一致的问题。如果n=4,m=2有兴趣可以再推理一次,结果也是一致的。

综上所述,在拜占庭问题中n>3m+1能得到保证,拜占庭将军问题比较考验整个推理,笔者也是根据自己理解写了点介绍,有不对的请及时指正。


(音频内容来源:“投河自尽的鱼”)


以下是我们的社区介绍,欢迎各种合作、交流、学习:)


点击“阅读原文”进入直播室听专栏音频

阅读原文

DRAM内存模拟持久化设备的方法 由于持久化内存介质NVM技术的发展,越来越多的科研工作者投身到NVM相关的研究当中。但由于目前工业界并没有推出广泛使用的NVM介质设备,所以科研工作都需要自己以现有的条件,模拟NVM设备使用场景。一个简单的方法是:通过修改DRAM模拟器,达到模拟NVM的目的(可以参考:DRAMSim2模拟器分析与应用)。更高端的方式是:在真实系统中,将内存划分出一块儿,用来模拟NVM设备(类似于传统的ramdis 阅读详情

相关推荐

AD学习笔记(一)基础认识

文章目录AD学习笔记第一讲 AD基础认识一、两库两图(分别对应下图)1、PCB图(pcbdoc)2、原理图(schdoc)3、原理图库(schlib)4、PCB库(pcblib)二、封装1、DIP封装2、LQFP封装三、绘制整体流程1、建立工程(PrjPcb)2、建立两库两图并保存整个工程(五次)3、从库中提取绘制原理图4、原理图导入pcb图5、根据原理图布线6、pcb图交由工厂打板 AD学习笔记 第一讲 AD基础认识 一、两库两图(分别对应下图) PCB图(pcbdoc) 原理图(schdoc) PCB库

qq_52465473的博客 6686

区块链 共识机制研究的重要定理有哪些

(1)两军问题: 在不可靠的通信链路上试图通过通信达成一致共识是不可能的。 (2)拜占庭将军问题: 在可能存在故障节点(硬件错误、网络拥塞或断开、遭到恶意攻击)、通过点对点消息通信的网络中, 非故障节点如何能够针对特定值达成一致共识。[笨1] (3)FLP不可能定理: 在含有多个确定性进程的异步系统中, 只要有一个进程可能发生故障, 那么就不存在协议能保证有限时间内使所有进程达成一致。[笨2] (4)CAP定理: 分布式系统无法同时满足一致性(Consistency)、可用性(Availa..

软件工程小施同学 的专栏 488

【Unity+HoloLens2】从0开始在HoloLens2部署MR工程

HoloLens2部署的权威教程在微软的官方文档中,但有些问题其实官方文档并没有列出,所以在实际开发过程中如果遇到bug,就需要自身或者前人的经验去解决。比如:对于Hololens2来说,在VS中需选择ARM64而不是x86。部署需要有良好的网速;工程打包出来的文件路径和工程路径有关联,如果这两个路径不匹配,部署就会失败。部署后打不开可能是因为Unity中未添加需要部署的场景,在Build Settings中点击Add open Scenes。...

fmxs 4571

FLP不可能原理/CAP原理/ACID原则

FLP不可能原理:在网络可靠,但允许节点失效(即便只有一个)的最小化异步模型系统中,不存在一个可以解决一致性问题的确定性共识算法。FLP不可能原理实际上告诉人们,不要浪费时间,去为异步分布式系统设计在任意场景下都能实现共识的算法。后期补充CAP原理:分布式计算系统不可能同时确保以下三个特性:一致性(Consistency)、可用性(Availability)和分区容忍性(Partition),设计...

bloodsuckerm的博客 6452

程序化广告行业(2/89):从程序化广告深挖数据处理技巧

大家好!我一直希望能和大家在技术学习的道路上携手共进,这也是我写这一系列博客的初衷。上次我们一起学习了Python基础的数据处理知识,这次咱们借助一本程序化广告手册,深入挖掘数据处理的更多技巧。这本手册涵盖了程序化广告从概念到技术实现的诸多方面,而其中处处都涉及到数据处理,相信会给我们带来不少收获

yyy173611的博客 4572

五.卡尔曼滤波器(EKF)开发实践之五: 编写自己的EKF替换robot_pose_ekf中EKF滤波器

本系列文章主要介绍如何在工程实践中使用卡尔曼滤波器,分五个小节介绍: 一.卡尔曼滤波器开发实践之一: 五大公式 二.卡尔曼滤波器开发实践之二: 一个简单的位置估计卡尔曼滤波器 三.卡尔曼滤波器(EKF)开发实践之三: 基于三个传感器的海拔高度数据融合 四.卡尔曼滤波器(EKF)开发实践之四: ROS系统位姿估计包robot_pose_ekf详解 五.卡尔曼滤波器(EKF)开发实践之五: 编写自己的EKF替换robot_pose_ekf中EKF滤波器 也就是本文 ...

okgwf的博客 4139

PBFT中的FLP不可能定理及CAP定理

PBFT中的FLP和CAP

Zyx___的博客 1322

5款高性价比LDO芯片实测对比:从TPS7A4501到LM2940,哪款更适合你的项目?

本文通过实测对比了TPS7A4501、TPS72301、LM2937、LM2940等五款高性价比LDO芯片的核心性能。文章详细分析了跌落电压、输出噪声、静态电流及热性能等关键指标,并结合电池供电物联网节点、高精度数据采集等典型应用场景,提供了清晰的选型指南,帮助工程师根据项目需求选择最合适的LDO芯片。

weixin_29305337的博客 116

FLP不可能性(FLP impossibility)

FLP不可能性(FLP impossibility) FLP impossibility是一个定理,它证明了在分布式情景下,无论任何算法,即使是只有一个进程挂掉,对于其他非失败进程,都存在着无法达成一致的可能。 FLP是Fischer, Lynch,Patterson三位作者名字组合的简写,表明这定理是由它们三位发明的。 简化模型 FLP基于如下几点假设: 仅...

weixin_30448603的博客 886

PCL ICP算法实现点云精配准【2026最新版】

PCL1.14.1 及之前版本所实现的迭代最近点ICP算法。博客长期更新,本文最新更新时间为:2026年4月17日。

点云侠的博客 31万+

微信开发 - 最新第三方网站接入微信登录、微信支付时,本地 redirect_uri 参数错误导致无法调试的解决方案(微信开放平台)完美解决每次都需要部署到线上测试,在本地使用本地 ip 就能轻松调试

redirect_uri参数错误,微信第三方登录,没有服务器时的测试方法,微信开放平台的回调域名怎么设置为本地域名IP,微信登录微信支付每次调试都需要放到服务器上怎么办,微信登录支付业务在本地调试不了怎么办,在本地怎么测试微信支付和登录,微信第三方登陆本地测试,怎么在本地进行测试,微信回调域怎么设置为本地IP,微信扫码登录redirect_uri参数错误,微信开放平台,微信开放平台开发的第三方登录和支付,vue2,nuxt2,vue3,nuxt3,uniapp,微信开放平台,公众号,微信支付,微信登录授权,

🏆 前端领域优质创作者 8791

什么是共识算法

本文尝试从源头开始,告诉大家区块链共识算法的来龙去脉。包含以下三部分: 什么是共识算法 著名的共识设计理论 经典的共识算法设计 什么是共识算法 背景 分布式系统集群设计中面临着一个不可回避的问题,一致性问题 对于系统中的多个服务节点,给定一系列操作,如何试图使全局对局部处理结果达成某种程度的一致? 这个一致性问题大致有如下的场景: 节点之间通讯不可靠的,延迟和阻塞 节点的处理可...

跨链技术践行者 3万+

Cadence PCB仿真 使用Allegro PCB SI为BRD文件创建通用型IBIS模型的方法图文教程

本文简单介绍使用Allegro PCB SI软件为BRD PCB设计文件中的元器件创建IBIS模型的方法。

fydar的博客 2172

区块链共识机制的演进

当多个主机通过异步通讯方式组成网络集群时,这种异步网络默认是不可靠的,那么在这些不可靠主机之间复制状态需要采取一种机制,以保证每个主机的状态最终达成相同一致性状态,取得共识。为什么认为异步网络默认是不可靠的?这是根据FLP原理。

fenghuo_yuanma的博客 1114

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

区块链:基础知识篇

区块链本身并不是新的理论或者技术,而是对已经存在的技术理论进行实现的一个新事物而已,因此基础是构成它的基石。这里概要讲述大多数书籍必定会遇到的一些基础知识和相关点。 一致性问题(Consistency) 理想的分布式系统一致性应该满足: 可终止性(Termination):一致的结果在有限时间内能完成; 共识性(Consensus):不同节点最终完成决策的结果应该相同; 合法性(Vali...

牧竹子 1386

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

轻量级共识引擎Manta:设计原理、实现与生产实践

共识算法是分布式系统的核心,它确保多个独立节点在不可靠网络环境下对数据状态达成一致。其基本原理是通过多轮消息交换和投票机制,在满足安全性与活性的前提下实现最终一致性。传统算法如Paxos、Raft或PBFT,虽保证了强一致性,但常伴随高通信复杂度与资源消耗的技术挑战。为应对物联网、边缘计算及高性能联盟链等对延迟与吞吐量有严苛要求的应用场景,轻量级共识技术应运而生,它通过简化状态机、优化网络交互和引入现代密码学原语(如阈值签名)来降低开销。本文聚焦的轻量级共识引擎Manta,正是这一技术趋势的代表,它通过集成

weixin_30387799的博客 330

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

第一篇:区块链通识基础知识总结

一致性问题(Consistency) 理想的分布式系统一致性应该满足: 可终止性(Termination):一致的结果在有限时间内能完成; 共识性(Consensus):不同节点最终完成决策的结果应该相同; 合法性(Validity):决策的结果必须是其它进程提出的提案。 强一致性(Strong Consistency)主要包括下面两类: 顺序一致性(Sequential Con...

牧竹子 1533

FLP Impossibility

FLP Impossibility(FLP不可能性)是份额

老码农的专栏 2万+

分布式理论梳理——FLP定理

FLP Impossibility(FLP不可能性)是分布式领域中一个非常著名的定理。它给出了一个令人吃惊的结论:在异步通信场景,即使只有一个进程失败了,没有任何算法能保证非失败进程能够达到一致性!这意味着,在假设网络可靠、节点只会因崩溃而失效的最小化异步模型系统中,仍然不存在一个可以...

chuantanxie6050的博客 4195

CAP 理论、BASE 理论、FLP 理论

CAP 理论、BASE 理论、FLP 理论 CAP 理论、BASE 理论、FLP 理论 1.CAP 理论 C(Consistency) 一致性: 在写操作之后的所有读操作,必须要返回写入的值。 A(Availability) 可用性: 只要收到用户的请求,服务端就必须给出回应。 P(Partition tolerance) 分区容错性: 一个分布式系统里面,节点组成的网络本来应该是连通的。然而可能...

Bryant5051的博客 1516
上一篇: 区块链从业者的狗年求职指南
下一篇: 【虾说区块链】什么是hash算法?什么是好的hash算法?
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值