数据库修仙筑基篇五——c-raft分布式存储方案

cpp-raft:C++中的Raft共识算法实现(十一) Craft.io 什么? Raft Consensus 协议的 C 实现,BSD 许可 它是如何工作的? 有关完整文档,请参阅 raft.h。 网络超出了该项目的范围。 实现者需要做所有的管道。 目前,这是通过以下方式完成的: 实现 raft_cbs_t 中的所有回调; 和 使用 .* 消息结构调用 .* 函数 依赖项 ------------ 没有依赖项,但是是测试所需。 建造 $make 去做 成员变动 日志压缩 更多场景测试(即更多样化的网络分区场景) 使用示例 立即下载

c-raft分布式存储方案

raft协议详解

RAFT中将节点状态分为:

  • Leader:接收Client的请求,并进行复制,任何时刻只有一个Leader
  • Follower:被动接收各种RPC请求
  • Candidate:用于选举出一个新的Leader

RAFT中Follower长时间没有接受到心跳就会转为Candidate状态,收到多数投票应答之后可以转为Leader,Leader会定期向其他节点发送心跳。当Leader和Candidate接收到更高版本的消息后,转为Follower。

leader选举

系统中只会存在一个 leader, 如果一段时间内没有 leader, 那么大家通过选举的方式选出 leader. leader 不停的向 follower 发出心跳,表明 leader 的存活状态, 如果l leader 故障,follower 会切换成 candidate 选举出新 leader。

  1. 所有节点启动时都是 follower 状态, 在 一段时间如果没有收到来自 leader 的心跳,follower 切换为 candidate , 并发起选举。
  2. 如果收到了 majority 的选举票(包含自己的一票),那么切换为 leader 状态。
  3. 如果发现其他节点比自己更新,则主动切换为 follower

RAFT中将时间划分到Term,用于选举,标示某个Leader下的Normal Case,每个Term最多只有一个Leader,某些term可能会选主失败而没有leader(未达到多数投票应答而超时)。选举过程中,每个Candidate节点先将本地的Current Term加一,然后向其他节点发送RequestVote请求,其他节点根据本地数据版本、长度和之前选主的结果判断应答成功与否。具体处理规则如下:

  1. 如果now – lastLeaderUpdateTimestamp < elect_timeout,忽略请求
  2. 如果req.term < currentTerm,忽略请求。
  3. 如果req.term > currentTerm,设置req.term到currentTerm中,如果是Leader和Candidate转为Follower。
  4. 如果req.term == currentTerm,并且本地voteFor记录为空或者是与vote请求中term和CandidateId一致,req.lastLogIndex > lastLogIndex,即Candidate数据新于本地则同意选主请求。
  5. 如果req.term == currentTerm,如果本地voteFor记录非空并且是与vote请求中term一致CandidateId不一致,则拒绝选主请求。
  6. 如果lastLogTerm > req.lastLogTerm,本地最后一条Log的Term大于请求中的lastLogTerm,说明candidate上数据比本地旧,拒绝选主请求。

上面的选主请求处理,符合Paxos的"少数服从多数,后者认同前者"的原则。按照上面的规则,选举出来的Leader,一定是多数节点中Log数据最新的节点。

选举过程

follower 在 timeout 时间内,没有收到来自 leader 的心跳,则会发起选举:

  • 增加节点本地的 current term, 切换为 candidate 状态
  • 投自己一票
  • 并行的发送给其他节点 RequestVotes RPCs
  • 等待其他节点的回复
    1. 收到了 大多数选票(majority ),那么赢得选举,切换状态为 leader
    2. 被告知别人已经当选,则切换为 follower
    3. 一段时间还是没有收到 majority 的投票结果,保持 candidate 状态,重新发出选举。
  • 每个任期,一个节点只能投票一次
  • 候选人知道的信息不能比自己少
  • fisrtcome- first-serverd 先到先得

流复制

一旦选举出了一个leader,它就开始负责服务客户端的请求。每个客户端的请求都包含一个要被复制状态机执行的指令。leader首先要把这个指令追加到log中形成一个新的entry,然后通过AppendEntries RPCs并行的把该entry发给其他servers,其他server如果发现没问题,复制成功后会给leader一个表示成功的ACK,leader收到大多数ACK后应用该日志,返回客户端执行结果。

当系统有了leader, 系统应用进入了工作区, 客户端的一切请求会发送到 leader, leader 来调度这些并发请求到顺序,并且保证 leader 和 follower 状态的一致性。

raft 的做法就是,将这些请求的顺序告诉 follower, leader 和 follwer 以相同的顺序来执行这些请求, 保持状态一致。所谓强一致性, 并不是指集群中任意时刻状态都一致。而是指一个目标, 让一个分布式系统看起来只有一个数据副本, 并且读写都是原子的, 这样应用层可以忽略系统多个数据间的同步问题。

共识算法,就是来保证一致性的。共识算法保证在小部分节点故障的 <=(N-1)/2 节点故障的情况下,系统仍然可以对外提供服务。

共识算法,是通过复制状态机来实现。所有节点从同一个状态 state 出发,经过相同的 log, 最终达到一致的状态 state.

相同的初始状态+相同的输入 = 相同的结束状态。

Raft 负责保证集群所有节点 log 一致性。leader 具有较强的领导力, 所有 log 都必须交给 leader 节点处理,并由 leader 复制给其他节点。这个过程叫做日志复制。

日志复制机的流程:

leader 选举出来后,就承担了领导整个集群的责任,开始接受客户端请求,并将操作包装成日志,发送给其他节点。

  • leader 为客户端提供服务, 客户端的每个请求都包含一条被状态复制机执行的指令。
  • leader 把该指令作为一个新的日志附加到自身的日志集合。然后向其他节点发起附加请求条目(AppendEntries RPC)。来要求其他节点将日志附加到自己的本地日志集合中。
  • 当这条日志确保被安全复制,即 (N/2 +1) 节点有复制后,leader 将该日志 apply 到他本地的状态机中,然后把操作成功的结果返回给客户端。

安全性

对选举的限制

每个 candidate 必须在 RequestVote RPC 中携带自己的最新日志,如果 follower 发现candidate 日志还没有自己的新, 那么就拒绝投给该 candidate

也就是说 candidate 想要赢得选举,必须得到大多数节点的投票,那么它的日志一定不能落后大多数节点。又因为一条日志只有被复制到大多数节点才能被 COMMIT, 也就是说 赢的选举的 candidate 一定拥有所有 commited 节点的日志。

对提交的限制

除了对选举限制外,还需要对 commit 增加一些限制。

当 leader 得知某条日志被集群过半的节点复制成功时,就可以进行 commit,committed 日志一定最终会被状态机 apply。

leader 并不能随时随地 commit 旧任期的留下的日志,即便旧任期已经复制到大部分节点。

Leader 只允许 commit 包含当前 term 的日志。

raft协议优化

当某个节点a长时间没有回复leader的心跳报文时,leader会向其他节点发送移除该节点的报文,当半数以上节点确认移除该节点时,各节点均移除该节点,达到动态调整节点的目的。

reference

  1. https://cloud.tencent.com/developer/article/1826594
raft, Raft协议的C 实现,BSD许可协议.zip raft, Raft协议的C 实现,BSD许可协议 Raft协议的C 实现,BSD许可协议。有关完整文档,请参阅 raft.h 。请参见 ticketd 了解这里库的实际使用情况。网络已经超出这里项目范围。 实现者将需要完成所有的管道。 库不假定具有排序或者重复检测的网络层。 立即下载

相关推荐

cpp-Raft核心算法的一个轻量级C实现可作为一个复制库

Raft 核心算法的一个轻量级C 实现,可作为一个复制库

c-raft 开源项目教程

c-raft 开源项目教程 1. 项目的目录结构及介绍 c-raft 项目的目录结构如下: c-raft/ ├── bin/ ├── conf/ ├── docs/ ├── src/ │ ├── client/ │ ├── common/ │ ├── server/ │ └── main.go ├── tests/ └── README.md 目录结构介绍 bin/: 存放编译...

gitblog_00588的博客 348

VS2022+Qt6保姆级配置指南:从插件安装到项目互通全流程(附常见错误解决)

本文提供了一份详细的Visual Studio 2022与Qt6集成开发环境配置指南。从插件安装、环境搭建到项目创建与互通,涵盖了全流程操作步骤,并针对常见的配置错误和调试问题提供了实用的解决方案,帮助开发者高效构建企业级桌面应用。

nginx7reverse的博客 1208

Raft分布式存储

构建一种基于Raft一致性算法的分布式键值存储数据库,以确保数据的一致性、可用性和分区容错性参考文章:两万字长文解析raft算法原理视频:解析分布式共识算法之Raft算法本项目用Raft解决的问题一致性: 通过Raft算法确保数据的强一致性,使得系统在正常和异常情况下都能够提供一致的数据视图。可用性: 通过分布式节点的复制和自动故障转移,实现高可用性,即使在部分节点故障的情况下,系统依然能够提供服务。分区容错: 处理网络分区的情况,确保系统在分区恢复后能够自动合并数据一致性。

realbread的博客 1422

使用 Java + PaddleOCR 实现表格识别,支持导出 HTML 和 Excel(附源码)

使用Java+PaddleOCR快速搭建表格识别系统,无需处理底层模型细节。系统支持表格结构识别和内容识别,可将图片转换为可编辑表格格式。文章提供了完整的实现流程,包括Maven依赖引入、模型下载(包含检测、识别、分类和表格结构模型)及参数配置说明。SmartJavaAI支持多种高性能模型选择,适用于不同应用场景,帮助开发者快速实现表格识别功能。

deng775747758的博客 1476

Hypermesh到Abaqus CEL网格转换全攻略:解决欧拉体导入难题

本文详细解析了Hypermesh到Abaqus CEL网格转换的全流程,重点解决欧拉体导入难题。通过单元类型转换、INP文件编辑和多组件合并技术,实现流固耦合仿真的高效前处理。文章包含实用脚本和工程案例,帮助工程师突破ABAQUS CEL分析中的网格转换瓶颈。

weixin_30832143的博客 193

C-Raft 开源项目教程

C-Raft 开源项目教程 项目介绍 C-Raft 是一个基于 Raft 共识算法的分布式一致性协议实现。Raft 是一种为了管理复制日志的一致性算法,它提供了和 Paxos 相似的性能和功能,但是它的算法结构和 Paxos 不同,使得 Raft 更容易理解并且更容易实现。C-Raft 项目旨在提供一个高效、稳定且易于使用的 Raft 实现,适用于各种分布式系统。 项目快速启动 环境准备 在开始之...

gitblog_00057的博客 621

STM32 无线充电接收端硬件设计:从 LC 谐振到 PWM 控制的 5 大关键电路解析

本文深入解析了基于STM32的无线充电接收端硬件设计,重点探讨了LC谐振倍压整流、INA282电流采样、IR2104S半桥驱动、超级电容保护及STM32最小系统等5大关键电路。针对超级电容的恒功率充电需求,详细介绍了PID控制算法优化及PCB设计实战要点,帮助工程师提升无线充电系统的效率和可靠性。

weixin_31774841的博客 387

GBase 8c Raft协议学习(一)

Raft算法概述 1、三种角色 Raft是一个用于管理日志一致性的协议。它将分布式一致性分解为多个子问题:Leader选举(Leader election)、日志复制(Log replication)、安全性(Safety)、日志压缩(Log compaction)等。同时,Raft算法使用了更强的假设来减少了需要考虑的状态,使之变的易于理解和实现。Raft将系统中的角色分为领导者(Leader)、跟从者(Follower)和候选者(Candidate): " Leader:接受客户端请求,并向Follow

lc17123的博客 404

fluent二维叶型仿真_Fluent案例4【自然对流】

自然对流来了!!江苏的高校好多开学了,我啥时候才能开学另外,刚才看了何同学的Mac Pro深度体验视频,我好酸/(ㄒoㄒ)/~~好想拥有一台跑仿真那种sou~sou~sou~的机器。废话不多说了,进入正题!案例题目:一个矩形空腔内有500K恒温小球,矩形空腔充斥空气,边界条件绝热,模型尺寸如下,试模拟空腔内空气流动状态做出温度变化图。(尺寸大小懒得写了,在建模部分里有)操作平台:workbench...

weixin_39724469的博客 3671

YOLOv11改进 | 注意力篇 | YOLOv11引入24年最新的ELA注意力机制,并构建C2PSA_ELA

为了解决这些限制,本文介绍了一种高效的本地注意力(ELA)方法,实现了一个简单的结构,大幅度的性能改善。我们精心设计了ELA中的三个超参数,产生了四个不同的版本:ELA-T,ELAB,ELA-S和ELA-L,以满足不同视觉任务的具体要求,如图像分类,目标检测和语义分割。到此本文的正式分享内容就结束了,在这里给大家推荐我的YOLOv11改进有效涨点专栏,本专栏目前为新开的,后期我会根据各种前沿顶会进行论文复现,也会对一些老的改进机制进行补充,如果大家觉得本文帮助到你了,订阅本专栏,关注后续更多的更新~

tsg6698的博客 1287

基于Raft协议的KV存储系统

无

zhang24360的博客 2197

【OpenFOAM】-olaFlow-算例4- irreg45degTank

不规则波浪模拟

ou_no的博客 2117

c raft

https://github.com/osgochina/octel/blob/master/deps/raft/raft_server.c

linuxheik的专栏 517

CRMEB开源电商系统 /api/products SQL注入漏洞复现(CVE-2024-36837)

2024年6月,CRMEB开源电商系统发布了新补丁,修复了一处SQL注入漏洞(CVE-2024-36837)。经分析,该漏洞可以通过请求api的路径接口来进行SQL注入,进而可能导致敏感信息泄露,该注入可暴露后台web绝对路径,深入利用可获取服务器权限,该漏洞无前置条件且利用简单,建议受影响的用户尽快修复漏洞。

0xSec 2885

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Raft算法详解

Paxos算法详解一文讲述了晦涩难懂的Paxos算法,以可理解性和易于实现为目标的Raft算法极大的帮助了我们的理解,推动了分布式一致性算法的工程应用,本文试图以通俗易懂的语言讲述Raft算法。 一、Raft算法概述 不同于Paxos算法直接从分布式一致性问题出发推导出来,Raft算法则是从多副本状态机的角度提出,用于管理多副本状态机的日志复制。Raft实现了和Paxos相同的功能,它将一致性...

z69183787的专栏 1458

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

共识算法的实践基石:Raft(中)-- 利用模拟器进行实践

利用 raft 模拟器,让理论结合实践

oatlmy 1225

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

分布式系统:Raft(实验作业2C)

6.824 Raft Lab2B 实验做什么? 实现持久化 实现加速的log回溯 持久化 这个很简单。只要参照persist()和readPersist()的注释,编写这2个函数。内容都很简短。然后凡是程序中有修改currentTerm、votedFor、log的地方,都在其后加一句persist(),就可以了。 currentTerm持久化是为了term不会变小。 votedFor持久化是...

学习,学习,学习 567

Raft一致性协议

分布式存储系统通常通过维护多个副本来进行fault-tolerance,提高系统的availability,带来的代价就是分布式存储系统的核心问题之一:维护多个副本的一致性。一致性协议就是用来干这事的,即使在部分副本宕机的情况下。Raft是一种较容易理解的一致性协议。一致性协议通常基于replicated state machines,即所有结点都从同一个state出发,都经过同样的一些操作序列,...

weixin_30768661的博客 331

算法:Raft算法。

raft是工程上使用较为广泛的强一致性、去中心化、高可用的分布式协议。在这里强调了是在工程上,因为在学术理论界,最耀眼的还是大名鼎鼎的Paxos。但Paxos是:少数真正理解的人觉得简单,尚未理解的人觉得很难,大多数人都是一知半解。本人也花了很多时间、看了很多材料也没有真正理解。直到看到raft的论文,两位研究者也提到,他们也花了很长的时间来理解Paxos,他们也觉得很难理解,于是研究出了raft算法。

孤芳不自赏 434

基于Raft算法设计分布式一致性存储Raft-KV

Raft-KV 文章目录Raft-KVRaft算法算法LiveData 模拟实现仓库 Raft算法 raft算法是一个分布式一致性算法,发布于Paxos、ZAB之后的一致性算法,raft算法相比前两者,读起来更容易(这并不意味着raft就是很容易读懂的)。本文只讲基于raft算法实现kv分布式存储应用,不对raft细节作过多的描述。 算法 以下是算法地址: raft LiveData 模拟 以下是模拟的地址: LIVEDATA 实现仓库 raft-kv 以上的仓库是代码的实现,只需讲代码的模块copy三份,

rekingman的博客 1412

分布式存储引擎大厂实战:一文搞懂Raft系列(一)

背景 大多数分布式KV存储作为存储引擎的时候,在对数据分片的时,为了实现每个分片的高可靠性、高可用和强一致性,一般采用Raft协议来实现,这个Raft协议,它是一个理论基础,实现了集群的自我控制和自我选举来解决高可用的问题。它是一个被广泛采用的,非常成熟的一致性协议。比如etcd就是基于Raft来实现的。掌握了这个算法,可以得心应手地处理绝大部分场景的容错和一致性需求。比如分布式配置系统,分布式NoSQL存储等等,轻松地突破系统的单机限制。 下面的章节中,不仅会介绍Raft的原理,还会通过基于Raft算法的

神技圈子的博客 4003

【转载】分布式存储算法之Raft 一致性算法

分布式系统中,如何保证多个节点的状态一致?Raft 一致性算法与 Paxos 不同,号称简单易学,且已经广泛应用在生产中。例如 k8s 和 CoreOS 中使用的 etcd;tikv 中使用 Raft 完成分布式同步;Redis Cluster 中使用类似 Raft 的选主机制等等。今天我们来一探究竟吧。 复制状态机/Replicated state machines 复制状态机的想法是将服务...

ycx1225的专栏 798

Raft算法详细介绍

raft是一个共识算法(consensus algorithm),所谓共识,就是多个节点对某个事情达成一致的看法,即使是在部分节点故障、网络延时、网络分割的情况下。这些年最为火热的加密货币(比特币、区块链)就需要共识算法,而在分布式系统中,共识算法更多用于提高系统的容错性,比如分布式存储中的复制集(replication),在带着问题学习分布式系统之中心化复制集一文中介绍了中心化复制集的相关知识。raft协议就是一种leader-based的共识算法,与之相应的是leaderless的共识算法。   本.

3983

Raft简单实现小结

上一周花了大部分时间重新拾起了之前落下的MIT6.824 2016的分布式课程,实现和调试了下Raft协议,虽然Raft协议相对其他容错分布式一致性协议如Paxos/Multi-Paxos/VR/Zab等来说更容易理解,但是在实现和调试过程中也遇到不少细节问题。虽然论文中有伪代码似的协议描述,但是要把每一小部分逻辑组合起来放到正确的位置还是需要不少思考和踩坑的,这篇文章对此做一个小结。Raft实现这

feilengcui008的专栏 3840
上一篇: 数据库修仙筑基篇八——corosync-qdevice使用
下一篇: 数据库修仙筑基篇九——corosync-qdevice详解
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值