阅读笔记-从Paxos到zookeeper分布式一致性原理与实践-分布式系统理论

1 集中式：有一台主机或多台主机组成中心节点，数据存储在中心节点上，系统的所有业务单元部署在中心节点上，系统所有功能由中心处理，在集中式中所有终端或客户端仅负责数据的录入和输出，数据存储和控制处理由主机完成，中心机往往是性能卓越的大型主机

优点：简单，不用考虑分布式协作问题

2 分布式：

分布性：多台计算机在空间上随意分布，机器的分布情况会随时变动

对等性：分布式系统中计算机没有主从之分，计算机节点是对等的。副本是系统中常见概念之一，数据副本在不同节点上持久化同一份数据，当某个节点数据丢失时，可在副本上读取到该数据，服务副本-多个节点提供同样的服务，每个节点都有能力接受来自外部的请求并进行相应的处理

并发行：

多个节点并发的操作一些共享的资源

缺乏分布式的共享时钟：

判断事件谁先谁后

故障总会发生：

理论：任何在设计阶段考虑到的异常，一定会在系统实际运行中发生

在系统设计时不能忽略任何异常情况

分布式环境遇到的问题：

通信异常：分布式系统需要在各个节点间进行网络通信，因此每次通信伴随网络不可用的风险，如网络光线，路由器或是DNS等硬件设备或系统不可用都会导致分布式系统无法顺利完成一次网络通信，此外，节点之间通信其网络延时也会远大于单机操作，通常我们认为现代计算机体系结构中，单机内存访问的延时在纳秒数量级（通常是10ns左右），而正常的一次网络通信延时在0.1到1MS左右（相当于内存访问延时的105-106倍），如此大的延时差别，也会影响消息收发的过程

 

网络分区：

当网络由于发生异常情况，导致分布式系统中部分节点之间的网络延时不断增大，最终系统的所有节点中，只有部分节点能够正常通信，而另一些节点不能，我们称这个现象为网络分区，俗称"脑裂",此时会出现局部小集群，在极端情况下这些小集群会独立完成原本完整集群需要完成的功能，包括对数据的事物处理，对分布式一致性提出了挑战

 

三态

分布式系统每一次请求的状态：成功，失败，超时

单机操作时调用一个函数能够得到一个明确的相应，但是分布式系统中，网络是不可靠的，可能会出现超时现象

超时：

由于网络原因该请求（消息）并没有被成功发送到接收方，而是在发送过程中产生了丢失现 象

该请求（消息）成功的被接收方接收后，并进行了处理，但是在将相应反馈给发送方的过程中发生了消息丢失现象

当出现超时现象时，网络通信发起方时无法确定当前请求是否被成功处理的

 

节点故障：

分布式节点出现死机或僵死现象，通常不可避免，每天都在发生

 

从acid到cap/base

事物：是由一系列对系统中数据进行访问与更新的操作组成的一个程序执行逻辑单元（Unit），侠义上指数据库事物。一方面多个应用程序并发访问数据库时，事物可以在这些应用程序之间提供一个隔离方法，防止彼此操作互相干扰，另一方面事物为数据库藏做序列提供了一个从失败中回复到正常状态的方法，同事提供了数据库即使在异常状态下仍能保持数据一致性的方法

ACID：

原子性：事物必须是一个原子的操作序列单元。事物中包含的各项操作再一次执行过程中只允许出现一下两种状态

全部执行成功

全部不执行

一致性：事物的执行不能破话数据库数据的完整性和一致性，一个事物在执行前和执行后，数据库都必须处于一致性状态，事物的结果必须从数据库的一个一致性状态转变到另一个一致性状态。如果数据库在运行时发生故障，有些事物尚未完成被迫中断，这些未完成的事物对数据库所做的修改一部分写入物理数据库，此时数据库就处于一种不正确的状态

隔离性：隔离性指在并发环境中，并发的事物是相互隔离的，一个事物的执行不能被其他数位干扰，不同的事物操作相同的数据时，每个事物都有完整的数据空间，即一个事物内部的操作及使用的数据对其他并发事物诗歌里的，并发执行的各个事物之间不能相互干扰

read uncommitted：该隔离级别允许脏读，隔离级别最低，如果一个事物正在处理某一数据并对其进行了更新，但同时尚未完成事物，并且没有提交事物，另一线程事物可以看到其中所有变更的值，而对其中间为更新但未完成提交事物的值进行读取就是未授权读取

read committed ：授权读取只允许获取已经被提交的数据。

repeatable read：保证事物处理过程中多次读取同一个数据时，其值和事物开始时刻是一致的，钦此该事物级别禁止了无可重复读取和脏读区，但是会出现幻读

serializable：串行化是最严格事物级别，他要求所有的事物被串行执行，即事物至呢个一个接一个的进行处理，不能并发执行

 

 

一个分布式事物可以看作是由多个分布式的操作序列组成的，可以称作子事物

Cap和BASE 理论

cap:

consistency(一致性):数据在多个副本之间是否能保证一致性

availability（可用性）：服务一直处于可用的状态，对于每一个操作请求总是能够在有限的时间内返回结果

有限的时间内：对于用户的一个操作请求，系统必须能够在指定的时间（相应时间）内返回对应的处理结果，如果超出了时间范围内是不可用的

返回结果：重要指标。要求系统在完成对用户请求的处理后返回一个正常相应的结果，正常响应的结果通常能够明确地反映出对请求的处理结果，即成果或失败，而不是一个模糊的结果

 

partition tolerance（分区容错性）：分布式系统在遇到任何网络分区故障时仍能够满足一致性和可用性的服务

 

 

BASE:

BASE是对CAP中一致性和可用性权衡的结果，是基于CAP定理逐步演化而来的，其核心思想是即使无法做到强一致性，但每个应用都可以根据业务特点，采用合适的方式使系统达到最终以执行

基本可用：分布式系统在出现不可预知故障的时候，允许损失部分可用性，但不能等价位系统不可用

• 响应时间上的损失：如正常在线搜索需要0.5秒返回结果，故障时相应时间增加到1-2秒
• 功能上的损失：正常情况下，在电子商务网站进行购物，消费者能够顺利的完成每一笔订单，但是节日购物高峰时，由于购物行为激增，为维护系统稳定，部分消费者可能被引导到一个降级页面

弱状态：

也称软状态，和硬状态相对，是指允许系统中的数据存在中间状态，并任务该中间状态的存在不会影响系统的整体可用性，即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时

最终一致性：强调系统中所有数据副本，在经过一段时间的同不会，最终能达到一致的状态

• 因果一致性：如果进程A在更新完某个数据项后通知了进程B,那么进程B之后对该数据项的访问应该能够获取到进程A更新后的最新值。并且如果进程B要对该数据项进行更新操作的话，无比基于进程A更新后的最新值，即熊发生丢失更新的情况，于此同时，与进程A无因果关系的进程C访问数据则没有这样的限制
• 读己之所写：是指进程A更新一个数据项之后，它自己总是能够访问到更新过的最新值，而不会看到旧的值，也就是说，对于单个数据获取者来说，其读取到的数据一定不会比上次写入的值旧。因此——可视为特殊的因果一致性
• 会话一致性（session consistency）：——将对系统数据访问过程狂顶在一个会话中：系统能在一个有效的会话中实现"读己之所写"的一致性，也就是说，执行更新操作之后，客户端能够在同一个会话中是中读取到该数据项的最新值
• 单调一致性：指一个系统需要能够保证来自同一个进程的写操作被顺序的执行

以上5个最终一致性的变种，在实际系统实践中可以组合起来，构建一个具有最终一致性特征的分布式系统

在现在关系型数据库中，大多数会采用同步和异步方式来实现主备数据复制技术，在同步方式中，数据的复制过程通常是更新事物的一部分，因此在事物完成后主备数据的数据就会达成一致。

在异步的方式中，备库的更新往往存在延时，这取决与事物日志在主备数据库之间传输的时间长短，如果传输时间过长或者什么在日治传输过程中出现异常导致无法及时将事物应用到备库上，那么从备库中读取的数据是旧的，无论是采用多次重试或人为修正，此时关系型数据库可以保证数据最终一致性

BASE理论面向大型高可用可扩展的分布式系统，提出通过牺牲强一致性来获得可用性，并允许数据在一段时间内是不一致的，但最终达到一致状态

分布式系统中，不同单元和组件对数据一致性的要求是不同，因此在具体的分布式系统结构设计中ACID特性与BASE理论往往结合在一起使用

Paxos的核心是一个一致性算法：

假设有一组可以提出提案的进程集合，那么对于一致性算法需要保证：

1. 在这些被提出的提案中只有一个被选中
2. 如果没有提案被提出，那么就没有提案被选中
3. 当一个提案被选中时，进程可以获取到被选定的提案信息

对于一致性来说，安全性需求如下：

• 只有被提出的提案才能被选定
• 只能有一个值被选定
• 如果某个进程任务每个提案被选定了，那么这个提案必须是真的被选定的那个

从整体上来说paxos算法的目标就是要保证最终有一个提案会被选定，当提案被选定后，进程最终也能获取到被选定的提案