etcd之raft协议学习（摸了两天鱼，我有罪，我忏悔）

原创 已于 2022-05-03 01:34:10 修改 · 435 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etcd #学习 #数据库

于 2022-04-29 02:01:15 首次发布
本文深入探讨了Raft一致性协议的目的、基础概念、选举机制和日志管理。在选举过程中，详细阐述了节点如何发起和赢得选举，以及解决选举过程中可能遇到的问题。在日志管理方面，解释了日志的保存、同步和复制策略，并讨论了在网络合并时的日志处理策略。此外，还分析了raft协议如何处理选举和日志同步中可能出现的各种异常情况。

目录

一、raft协议的目的

二、raft协议的基础概念

三、raft协议的选举

1、发起选举的条件

2、赢得选举的条件

3、选举过程

四、raft协议的日志

1、本地日志保存

2、日志同步方式

3、日志复制时机

五、选举存在的问题以及raft协议的解决方式

1、如果选举的节点没有超过半数怎么办？

2、如果选举的时候两个candidate节点相遇怎么办？

3、如果选举的时候遇到leader节点怎么办？

4、如果leader节点相遇怎么办？

六、日志存在的问题以及raft协议的解决方式

1、leader节点相遇时日志操作？

一、raft协议的目的

        raft是一种一致性协议，在分布式系统中，确保在大部分ongoing的情况下，集群能正常工作并且给出一个正确的结果（业务可用）

二、raft协议的基础概念

        节点角色：leader节点，follower节点

        节点状态：leader状态，follower状态，candidate状态

        term值：任期，每进行一次选举，任期值+1

        commitIndex：标识当前节点已知的最大的已提交的日志索引值

        lastApplied：当前节点已存储的最大索引

        nextIndex数组：需要发送给每个follower节点的下一跳日志的索引值（看似冗余的数组，实际是防止发送失败）

        matchIndex数组：已经复制给每个follower节点的最大的日志索引值

三、raft协议的选举

1、发起选举的条件

        节点长时间没有收到leader节点的心跳，节点的选举计时器超时，发起新一轮选举。

2、赢得选举的条件

        节点获得（包括失联节点在内的）集群中超过半数的选票。

3、选举过程

        节点A长时间收不到心跳，发起投票，成为candidate状态，节点B收到A的消息时，如果仍处于Follower状态，则将票投给A并且重置选举定时器，否则节点为candidate状态（不可能为leader状态，如果是leader状态则无需投票），则选举失败。

四、raft协议的日志

1、本地日志保存

        每个节点都会维护一个本地log用户记录更新操作，并且维护commitindex和lastApplied，主节点二外维护nextIndex和matchIndex数组。

2、日志同步方式

        raft选择批量复制

3、日志复制时机

        数据更新时日志会主动同步到从（follower）节点上
        数据读取时日志如何操作（这个日志有关读到的数据）？

五、选举存在的问题以及raft协议的解决方式

1、如果选举的节点没有超过半数怎么办？

        由于raft的半数节点是指集群中所有节点的半数，而不是可以收到心跳的半数，所以是有可能出现以下情况：部分集群连接不上，并且此集群的节点小于半数并且不包含leader节点。raft将先计算是否有超过半数的节点，如果不超过，则不进行选举。

2、如果选举的时候两个candidate节点相遇怎么办？

        如果term值相等，则重新进行选举；否则以term值更大的未candidate节点。

3、如果选举的时候遇到leader节点怎么办？

        选举的时候网突然好了，这个得翻源码。

4、如果leader节点相遇怎么办？

        选term值较大的为leader节点。

六、日志存在的问题以及raft协议的解决方式

1、leader节点相遇时日志操作？

        当集群被分为两个网络后又合并时，依据日志的任期号来决定日志如何保留（保留任期号大的），如果任期号相同，则使用索引比较大的。

MrBlind
关注
etcd中Raft协议
qq_43949280的博客
01-24 3087
文章目录前言Raft协议Leader选举日志复制 前言 文章内容来自：《etcd技术内幕》 — 百里燊，感兴趣的读者可以去读一下。 Paxos 算法和 Raft 算法： Paxos 算法诞生于 1990 年，这是一种解决分布式系统一致性的经典算法 。但是，由于 Paxos 算法非常难以理解和实现，不断有人尝试简化这一算法。到了2013 年才诞生了一个比 Paxos 算法更易理解和实现的分布式一致性算法—Raft 算法。 Raft协议 在正式开始介绍 Raft 协议之间，我们有必要简单介绍一下其相关概念。在分
【ETCD教程2】Raft协议
飞楼踏梦
08-10 291
铛铛铛，我又来啦，这么早给大家发文章，会不会觉得很烦 这篇文章是ETCD的核心，内容有点小复杂，感兴趣的小伙伴，可以收藏下来慢慢看 2.1 基本概念 2.1.1 名词解释 Raft协议一共包含如下3类角色： Leader（领袖）：领袖由群众投票选举得出，每次选举，只能选出一名领袖； Candidate（候选人）：当没有领袖时，某些群众可以成为候选人，然后去竞争领袖的位置； Follower（群众）：这个很好理解，就不解释了。 然后在进行选举过程中，还有几个重要的概念
etcd系列-----raft协议：Node结构
cyq6239075的博客
04-11 995
Node接口 raft结构体及各种消息处理流程的分析可以看出，结构体raft实现了Raft协议中最核心的内容， 它也是整个rft模块的核心， 但是它并没有实现网络传输、 持久化存储（注意与存储Entry记录的raftLog进行区分〉等功能，也没有对外提供简单易用的APi.在raft模块中，结构体Node表示集群中的一个节点，它是在结构体raft之上的一层封装，对外提供相对简单的API接口。下面看...
Etcd Raft 协议（进阶篇）
热爱数据库的小胖
03-21 1807
在正式开始介绍 Raft 协议之间，我们有必要简单介绍一下其相关概念。在分布式系统中，一致性是比较常见的概念，所谓一致性指的是集群中的多个节点在状态上达成一致。在程序和操作系统不会崩溃、硬件不会损坏、服务器不会掉电、网络绝对可靠且没有延迟的理想情况下，我们可以将集群中的多个节点看作一个整体，此时要保证它们的一致性并不困难。但是在现实的场景中，很难保证上述极端的条件全部满足，节点之间的一致性也就很难保证，这样就需要 Paxos、 Raft 等一致性协议。
从etcd看Raft协议
chenglinhust的专栏
04-17 3829
从etcd看Raft协议    首先，什么是etcd？看官方的定义：A highly-available key value store for shared configuration and service discovery. 翻译过来就是：用于配置共享和服务发现的K-V存储仓库。 特点： 简单：基于HTTP+JSON的API让你用curl就可以轻松使用。安全：可选S
精选资源
etcd 中 raft 算法的使用方法
01-08
raft 协议是一个一致性算法，解决多台机器之间数据一致的问题。raft 声称简洁明了，可以取代非常复杂的 PAXOS 算法。然而翻看 raft 的论文后，会发现即便声称简洁明了，自己完整地实现 raft 还是很麻烦的。 etcd是一...
从etcd学习raft
Catastrophe
08-26 801
在etcd的项目下有一个使用raft的示例，在之前读etcd代码的时候会比较难理解raft相关的代码。因此通过这个示例会更容易的了解raft相关的实现细节。我将这部分代码推送到了我的git仓库：https://github.com/yugu2day/raftexample在示例中，主要是构建了一个基于map的k-v存储服务， 支持PUT和GET对键值内容的存取，通过POST和DELETE来添加/删除raft集群中的节点。
Raft:我对 raft 协议的实现
最新发布
10-17
同时，如果Raft集群是构建在一个分布式数据库之上的，那么还需要考虑如何将Raft协议与数据库的一致性模型相结合。 Raft协议的实现需要深入理解分布式系统的一致性问题，并且能够将理论知识转化为可靠、高效的代码。...
【raft】学习七：etcd/raft节点启动流程
qq_40859492的博客
04-16 1803
前言 在前面的raft学习中，探讨了基于etcd/raft的一些数据结构和raft的日志存储，以及Leader选举算法。随着对raft的使用和了解，本次将带着前面的学习，看看raft 节点的启动流程和一些准备工作，从而在使用raft时能够更加简单地将raft运用到我们的实际工作中。 准备工作 raft本身是一种一致性同步协议，因而需要实体节点来运行协议并提供输入和输出，RawNode是原生的 raft 节点的实体，里面包含了raft协议层和一些状态信息。 RawNode type RawNode struc
Etcd 理解Raft协议 图文并茂
小楼一夜听春雨，深巷明朝卖杏花
07-02 1558
etcd是raft协议的一个实现。如果你使用过zookeeper这样的分布式键值对，你应该知道有个叫paxos的协议，paxos协议是挺复杂的，raft协议是paxos协议的简化版本。大多数同意原则：一群人怎么达成原则，往往是通过投票，当多数人同意的时候就按照多数人投票的结果去执行。在服务端一般是多个成员组成了一个集群，针对客户端任何的变更，这个变更首先会发到服务端，服务端在处理变更请求的时候，它会有一个一致性的模块，这个一致性模块会将这个变更请求发给其他所有的peer，请求经过一致性模块之后，请求就会转发
ETCD源码分析（三）Raft协议入门
csdnYF的博客
09-27 444
适合阅读本文的人群 对Raft协议感兴趣的人 看过一些Raft相关介绍的博文，但是看不懂的（比如我） 很多Raft相关的分析文章，或者是著名的《In Search of an Understandable Consensus Algorithm》 论文，都会把下面的一张图放出来： 再介绍选主、日志复制、状态机等一系列概念，恕我直言，真是看的人昏昏欲睡。也许有的表述确实看懂了，可正如古人所说，纸上得来终觉浅，要知此事需躬行。Raft协议跟我们日常写代码有什么关系，我们到底能不能用上它呢？ 我个人觉得.
etcd ： Raft 协议与高可用机制的结构化分析
喝醉酒的小白
07-02 966
Raft 是一种为分布式系统设计的共识算法，目标是易于理解和实现。它通过 Leader 选举、日志复制和安全的成员变更，保证集群数据一致性和高可用。Leader 选举与心跳：通过定时器（Tick）和消息驱动，自动检测 Leader 故障并重新选主。日志复制与一致性：所有写操作先写 Leader，再复制到大多数节点，保证数据不丢失。崩溃恢复：通过 WAL 和快照机制，节点崩溃后可快速恢复到一致状态。动态扩缩容：支持成员变更，安全地添加/删除节点，保证集群持续可用。快照与压缩。
ETCD 源码学习--Raft 协议介绍（二）
H_L_S的专栏
10-31 441
Raft协议是分布式一致性协议的一种，所以在了解Raft协议之前，我们首先要知道一致性协议的作用。 一致性协议 1.一致性协议用于解决分布式环境下多副本之间数据一致性的问题的。 2.主要包括两个部分，一是 Leader 选举，二是日志同步。 3.一致性协议主要包括Paxos、ZAB、Raft及 Gossip 等 raft协议 1.简图 2.状态机 Leader：负责处理所有客户端请求，当接收到客户的写入请求时，Leader 节点相应追加日志，然后封装成消息发送给其他 Follower 节
raft 协议和etcd实战
aaqq123456654321的博客
05-23 528
防止某个节点因为出现分区后，恢复后，再次发起leader选举，此处因为他会先进入prevote阶段，因为此时该阶段回去判断是否日志索引记录多少，因此该节点不能进入leader选举流程。集群成员变更的时候，下线C-old节点的时候，可能会因为暂时失联再发起leader选举。如果出现网络分区（注意分区后节点数还是和分区前是一样的）因为此时其他节点大概率还是保持和leader通信的。如果新分区的节点需要经过preVote。
ETCD 源码学习--Raft 协议实现的文件说明及 Raft 数据结构解析（三）
H_L_S的专栏
11-07 618
在 ETCD 源码学习过程，不会讲解太多的源码知识，只讲解相关的实现机制，需要关注源码细节的朋友可以自行根据文章中的提示，找到相关源码进行学习。 主要文件说明 在ETCD中，Raft协议实现的源码主要在 etcd/raft 目录下 1.raft.go 实现Raft协议的主要逻辑。 2.log.go 用于维护日志记录，其中包括两部分 log，持久化 log 和 未持久化 log 3.log_unstable.go 用于维护未持久化 log 4.stable.go 定义存储接口协议，同时实...
etcd节点通信的协议和端口
喝醉酒的小白
07-24 924
节点之间根据不同用途定义了不同的消息类型，通过google protocol buffer协议进行封装，并通过两种类型的消息传输通道（Stream类型和Pipeline类型）高效地处理不同数据量的消息。：所有etcd API的响应都有一个响应头，包括集群ID、成员ID、修订版本号和Raft术语等信息，这些可以帮助应用服务识别通信的集群或成员，以及了解键值存储的最新状态。：etcd节点间的通信使用的是2380端口，这个端口用于节点之间的数据同步和心跳检测。
etcd中raft协议的消息(一) —— 简述raft中的所有类型消息
skh2015java的博客
01-31 1673
etcd中的Raft算法简介    Raft 是一种为了管理复制日志的一致性算法。一致性算法是从复制状态机的背景下提出的（参考英文原文引用37）。在这种方法中，一组服务器上的状态机产生相同状态的副本，并且在一些机器宕掉的情况下也可以继续运行。复制状态机在分布式系统中被用于解决很多容错的问题。例如，大规模的系统中通常都有一个集群领导者，像 GFS、HDFS 和 RAMCloud，典型应用就是一个独...
剖析 etcd-raft协议和日志复制的图解
云南小伙闯深圳
05-30 1161
http://www.infoq.com/cn/articles/coreos-analyse-etcd/
Etcd源码分析-Raft实现
热门推荐
程序员的世界
06-23 1万+
从本篇开始介绍Raft，集群中最核心内容是保证数据一致性，那么如何保证数据一致性？在业界有很多算法、协议，例如：Paxos，Raft。 Raft协议相比之前协议Paxos等，算是年轻协议，而且Raft协议比较简单，容易实现。 一、Raft基础 1.1 状态机 Raft简单就在于它的状态机。由上图可知，状态机状态非常少，分别Follower、Candi...
etcd的raft源码
02-21
### etcd 中的 Raft 共识算法源码 etcd 是一个分布式的键值存储系统，广泛用于高可用的服务发现和配置管理。etcd 实现了 Raft 一致性协议来确保数据的一致性和可靠性。 #### 源码结构概述 etcd 的 Raft 实现在 `go.etcd.io/etcd/raft` 包中[^1]。以下是主要模块及其功能： - **raft.go**: 定义了核心的 Raft 结构体以及基本操作方法。 - **state_machine.go**: 描述了不同状态下（Follower, Candidate, Leader）的行为逻辑。 - **log.go**: 处理日志条目的追加、提交等功能。 - **node.go**: 提供了一个高层接口，封装了底层细节以便于应用集成。 #### 关键文件路径 对于想要深入研究 etcd 中 Raft 协议的具体实现，可以从以下几个重要文件入手： - `/pkg/raft/raft.go`: 这里包含了整个 Raft 状态机的核心逻辑，包括选举、心跳检测等机制。 ```go // Node represents a node in the raft cluster. type Node struct { ... } ``` - `/pkg/raft/log.go`: 日志管理部分，负责持久化日志记录并维护副本间同步。 ```go func (l *Log) Append(entries []pb.Entry) uint64 { ... } ``` - `/pkg/raft/node.go`: 将低级别的 Raft API 抽象成易于使用的节点对象。 ```go n := NewNode(...) defer n.Stop() for msg := range n.Ready() { // handle message... } ``` 通过阅读上述提到的关键组件代码，能够更好地理解 etcd 如何利用 Go 语言特性高效地实现了 Raft 协议中的各项功能[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值