TiDB中的raft协议及优化

最新推荐文章于 2025-05-30 14:06:39 发布
最新推荐文章于 2025-05-30 14:06:39 发布
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据库 区块链 文章标签： Raft
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/luo222/article/details/99662402
本文探讨了TiDB中对经典Raft协议的实现，包括异步优化，如领导者选举、日志复制、线程化apply，以及在follower严重落后时使用SST文件的快照恢复。此外，还介绍了multi Raft的数据分片实现，增强了系统的并发处理能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Raft 是一个 replication log + State Machine 的模型，我们只能通过 leader 进行写入，leader 会将 command 通过 log 的形式复制到 followers，当集群的大多数节点都收到了这个 log，我们就认为这个 log 是 committed，可以 apply 到 State Machine 里面。

TiKV 的 Raft 主要移植 etcd Raft，支持 Raft 所有功能，包括：

    Leader election

     Log replicationLog compaction

     Membership changesLeader transfer

     Linearizable / Lease read

经典raft协议数据处理流程

 1. Leader 收到 client 发送的 request。

 2. Leader 将 request append 到自己的 log。

 3. Leader 将对应的 log entry 发送给其他的 follower。

4. Leader 等待 follower 的结果，如果大多数节点提交了这个 log，则 apply。

5. Leader 将结果返回给 client。

6. Leader 继续处理下一次 request。

异步Raft协议改造

 1.Leader 接受一个 client 发送的 request。

 2. Leader 将对应的 log 发送给其他 follower 并本地 append。

 3. Leader 继续接受其他 client 的 requests，持续进行步骤 2。

 4.Leader 发现 log 已经被 committed，在另一个线程 apply。</

最低0.47元/天 解锁文章

200万优质内容无限畅学
【TiDB理论知识 05】TiKV-Raft协议
DBA之路的博客
07-18 891
被管理者，对其他服务作出相应，同时接受leader的日志并进行复制，如果长时间接收不到leader的通知信息，follower的角色就会转变为candidate（候选者），候选者会发起投票，告诉大家，leader不在了 ，你们要选我。term:时间时期的概念，官方定义 将时间分为一小段，每个Termd的长度不确定，他代表一段稳定的关系.举个例子：每个term就是一个恋爱关系，A和B 关系很好很稳定，这个term的长度就很长，如果A和B关系破裂了，A就进入下一个term。后，会写下一个region。
tidb的raft应用和优化
Aiky哇
10-16 1790
基于 Raft 构建弹性伸缩的存储系统的一些实践 在 TiKV 中，我们选择了按 range 的 sharding 策略，每一个 range 分片我们称之为 region，因为我们需要对 scan 的支持，而且存储的数据基本是有关系表结构的，我们希望同一个表的数据尽量的在一起。另外在 TiKV 中每一个 region 采用 Raft 算法在多个物理节点上保证数据的一致性和高可用。 从社区的多个 Raft 实现来看，比如 Etcd / LogCabin / Consul 基本都是单一 raft gro
Raft协议的优化
qq_41775852的博客
02-26 200
https://blog.youkuaiyun.com/weixin_43705457/article/details/115014226 https://blog.youkuaiyun.com/qq_35423190/article/details/108982230
TIDB Raft 协议与 multi raft 机制
weixin_43346403的博客
05-30 390
每个TIKV都会有多个region,在raft日志中，TIKV使用region的ID作为键的前缀，然后再加上raft日志的顺序号。Append指的是raft日志的持久化，一个TIKV中有两个rocksdb,一个是存储和持久化数据的，叫做ROCKSDB KV,日志复制：确保每个节点都收到并复制了主副本发送的日志，日志复制保证了一个region多个副本的强一致性。raft日志是多个副本之间复制数据所特有的日志，和之前的WAL日志不是一回事。从副本接收并持久化这些raft日志会告知主副本，已收到日志。
数据库必知必会：TiDB（5）TiKV Raft协议
wux_labs的博客
02-01 640
TiKV Raft协议
tidb raft协议 保证数据一致性
wgz7747147820的博客
05-19 1941
https://www.cnblogs.com/sgphappy2007/p/8184452.html 参考一下
Raft 的优化
chenglinhust的专栏
09-11 1568
Raft 的优化 Simple Request Flow 这里首先介绍一下一次简单的 Raft 流程： Leader 收到 client 发送的 request。 Leader 将 request append 到自己的 log。 Leader 将对应的 log entry 发送给其他的 follower。 Leader 等待 follower 的结果，如果大多
（论文阅读）TiDB：一款基于Raft的HTAP数据库
数据源的港湾
11-17 779
关系数据库管理系统(RDBMS)因其关系模型、强大的事务保证和SQL接口而流行。它们在传统应用程序(如业务系统)中被广泛采用。但是，老的RDBMS不提供可伸缩性和高可用性。因此，在21世纪初，互联网应用程序更喜欢NoSQL系统，如谷歌Bigtable和DynamoDB。NoSQL系统放宽了一致性要求，并提供了高可伸缩性和可替代的数据模型，如键值对、图和文档。然而，许多应用程序还需要强大的事务、数据一致性和SQL接口，因此出现了NewSQL系统。
【数据库管理】TiDB数据库读写问题处理：从写入流程到读取优化的全面解析与案例分析
最新发布
07-07
使用场景及目标：①帮助运维人员快速定位和解决TiDB数据库读取和写入过程中遇到的问题；②通过实际案例和监控工具的应用，提升数据库性能和稳定性；③提供详细的排查思路和技术手段，确保数据库在高并发和大数据量下...
一致性协议的基石：深入理解Raft协议
fudaihb的博客
11-24 1285
分布式系统中，如何确保多节点的数据一致性是一个核心挑战。Raft协议作为一种高效且易于理解的分布式一致性算法，为这一问题提供了优雅的解决方案。Raft 以其直观的设计和详细的文档支持，成为 Paxos 的一个广泛使用的替代方案，已经被应用于诸多分布式系统中，如 Etcd、TiDB 和 Consul。 本文将对 Raft 协议进行深入解析，涵盖其设计目标、核心概念、工作流程、关键细节以及应用场景，帮助读者全面理解这一算法。
Raft协议图解,缺陷以及优化
Ethan_199402的博客
01-26 4154
结点的状态 每个结点可以有三种状态：Follower，Candidate，Leader。所有的结点都是从Follower状态开始的 如果followers没有收到leader的RPC消息（心跳），则可以转换为candidate，如下图node a，Term表示任期 而candidate需要发起投票，其他结点参与投票，回复他们的投票结果，如果这个candidate获得了大部分（过半）的选票，就可以成为leader结点了。这就是Leader Election过程。 选举机制 每个节点随机一个选举超时时间，而
对于Raft的四个修改优化论文
08-18
在计算机分布式领域，为了保证数据一致性，先后出现了多种算法，其中要数Paxos最为著名，而Paxos过于抽象复杂，因此Raft诞生，为工程界实践带来了曙光。然而Raft的实现对于构建一个高性能高吞吐的应用还是比较困难，所以本论文对Raft提出了几个修改，让其变得更加优秀
raft算法简单实现-java
05-18
raft 是一种类似于 paoxs 的分布式算法，相对于 paxos 算法， raft 更容易于理解以及实现，这也是一种典型的 半数协议算法 。这里不详细介绍 raft 算法
【大数据】TiDB: A Raft-based HTAP Database
RK_Dangerous的博客
04-16 1334
ACID，是指数据库管理系统（DBMS）在写入或更新资料的过程中，为保证事务（transaction）是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）。A：Atomicity – 原子性一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。
tidb之一致性算法raft学习
weixin_30896763的博客
01-03 303
Raft 是一个一致性协议，提供几个重要的功能： Leader 选举 成员变更 日志复制 Simple Request Flow 这里首先介绍一下一次简单的 Raft 流程： Leader 收到 client 发送的 request。 Leader 将 request append 到自己的 log。 Leader 将对应的 log entry 发送给其他的 fo...
tidb mysql 协议_TiDB基本架构简单总结
weixin_29149931的博客
02-11 312
TiDB特点高可用水平拓展事务SQL支持TiDB架构​和MySql不同，TiDB是一个分布式的数据库而不是单个进程,所以整个TiDB是由以下角色组成: TiKV, PD, TiDB, TiSpark。每个角色都是部署在多台机器上的进程组成的集群。TiKV PD TiDB功能TiKV​TiKV负责数据的存储,对外而言，它就是一个提供key-value存储的引擎。但它存储的并不是离散的Key,而在一个...
TiDB：基于 Raft 的 HTAP 数据库
Tyler_Zx的博客
11-13 1763
基于Raft的HTAP数据库：TiDB。在数据库中设计了一个由行存储和列存储组成的Multi-Raft存储系统。行存储是基于Raft算法构建的。它是可伸缩的，可以从具有高可用性的事务请求实现更新。特别是，它异步复制Raft日志到learners，learners将元组的行格式转换为列格式，形成一个实时可更新的列存储。这个列存储允许分析查询高效地读取一致的新数据，与行存储上的事务有很强的隔离。
探秘TiDB：基于Raft的分布式HTAP数据库
gitblog_00050的博客
04-23 759
探秘TiDB：基于Raft的分布式HTAP数据库 是一个开源的、分布式的 HTAP（Hybrid Transactional/Analytical Processing）数据库，它设计目标是支持在线事务处理(OLTP)和在线分析处理(OLAP)混合场景，提供水平扩展的能力，并保持数据强一致性和高可用性。本文将从技术角度深入剖析TiDB的核心特性，应用场景，以及为何你应该考虑在你的项目中使用它。 项...
Raft 协议是什么协议，介绍一下
02-26
<think>好的，用户现在问的是“Raft 协议是什么协议，介绍一下”。之前他们问过关于Nacos集群节点数量的问题，当时我提到了Raft协议，现在他们可能想深入了解这个协议，特别是在分布式系统中的作用。 首先，我需要确认用户的使用场景。他们可能是在搭建微服务架构，使用Nacos作为注册中心和配置中心，所以需要了解其背后的一致性机制。用户可能是开发人员或者运维，需要确保系统的高可用性和数据一致性，因此理解Raft协议对他们的工作有帮助。 接下来，用户的真实需求不仅仅是了解Raft的定义，而是想明白为什么Nacos选择Raft，以及Raft如何保证集群的数据一致性和高可用。可能还有更深层的疑问，比如Raft与其他协议（如Paxos）的区别，或者在实际应用中的注意事项。 我需要从基础开始解释Raft，确保内容易懂。要涵盖基本概念、核心机制，比如领导者选举、日志复制、安全性。同时，对比Paxos，突出Raft的易理解性。还要结合Nacos的例子，说明Raft在其中的应用，让用户看到实际应用场景。 需要注意用户可能的技术水平，避免过于技术化的术语，用简单的比喻帮助理解。比如用“班长选举”来类比领导者选举，用“写日记”来比喻日志复制。这样用户更容易掌握关键点。 另外，用户之前的问题涉及到节点数量，这里可以再次联系到Raft的多数派机制，解释为什么Nacos推荐至少3个节点。这能帮助用户将前后知识连贯起来，加深理解。 最后，确保回答结构清晰，分点说明，重点部分用加粗或者示例代码块，保持可读性。总结部分可以对比Raft和其他协议，强调其优点，帮助用户做技术选型时的参考。</think>以下是关于 **Raft 协议**的详细介绍： --- ### **1. Raft 协议是什么？** - **定位**： Raft 是一种专为分布式系统设计的**一致性算法**，用于保证多个节点之间的数据一致性。 - 核心目标：在容忍部分节点故障的情况下，确保集群对外表现为一个**整体一致**的系统。 - 应用场景：分布式数据库（如 etcd、TiDB）、服务发现与配置中心（如 Nacos、Consul）等。 - **设计特点**： - **易于理解**：通过分解为领导者选举、日志复制、安全性三个子问题，简化了实现难度。 - **强一致性**：所有写操作需由领导者（Leader）协调，确保集群内数据副本最终一致。 - **容错性**：允许少数节点故障（如 3 节点集群允许 1 节点故障），保障系统高可用。 --- ### **2. Raft 的核心机制** #### **(1) 领导者选举（Leader Election）** - **角色划分**： - **Leader**：唯一处理客户端请求的节点，负责数据同步。 - **Follower**：被动接收 Leader 的指令，不直接响应客户端。 - **Candidate**：选举过程中的临时角色（当 Follower 认为 Leader 失联时触发）。 - **选举流程**： 1. **超时触发**：Follower 等待 Leader 心跳超时后，变为 Candidate，发起选举。 2. **投票请求**：Candidate 向其他节点发送投票请求（Term 值递增）。 3. **多数派胜出**：获得超过半数投票的 Candidate 成为新 Leader。 4. **心跳维持**：Leader 定期向 Followers 发送心跳，阻止新选举。 ```plaintext 示例：3 节点集群的选举 - 初始状态：1 Leader（A），2 Followers（B、C）。 - Leader A 宕机 → B 和 C 超时后成为 Candidate，发起选举。 - B 获得 C 的投票 → B 成为新 Leader。 ``` #### **(2) 日志复制（Log Replication）** - **写操作流程**： 1. 客户端向 Leader 发送写请求。 2. Leader 将操作追加到本地日志（未提交）。 3. Leader 将日志条目同步给所有 Followers。 4. 当**多数派节点**确认接收后，Leader 提交日志（数据生效）并通知 Followers。 5. Followers 提交日志，更新本地状态。 ```plaintext 示例：写入数据 "X=1" - Leader 记录日志 → 同步给 2 个 Followers。 - 至少 2 个节点确认（含 Leader） → 提交日志，响应客户端成功。 ``` #### **(3) 安全性（Safety）** - **选举限制**： - 只有拥有最新日志的节点才能成为 Leader（避免数据回滚）。 - **提交规则**： - Leader 只能提交当前任期（Term）内的日志条目。 - **状态机一致性**： - 所有节点按相同顺序执行日志条目，确保最终状态一致。 --- ### **3. Raft 与 Paxos 的对比** | **特性** | **Raft** | **Paxos** | |----------------|---------------------------------------|-------------------------------| | **设计目标** | 易理解、易实现 | 理论最优，但复杂度高 | | **角色划分** | 明确区分 Leader/Follower/Candidate | 无固定角色，动态协商 | | **日志管理** | 强依赖日志顺序和一致性 | 独立处理每个提案（无日志顺序）| | **适用场景** | 通用分布式系统（如 etcd、Nacos） | 学术研究或特定优化场景 | --- ### **4. Raft 在 Nacos 中的应用** - **数据一致性**： Nacos 使用 Raft 协议确保配置信息和服务注册数据在集群内一致。 - **节点协作**： - 客户端写请求由 Leader 处理，Follow 节点仅同步数据。 - 多数派确认机制保障数据持久化，避免脑裂问题。 - **容错能力**： - 3 节点集群允许 1 节点故障，仍可正常服务。 --- ### **5. Raft 的关键优势** 1. **强一致性**：所有成功响应客户端的操作均持久化在多数派节点中。 2. **高可用性**：允许部分节点故障，不影响集群整体可用性。 3. **可预测性**：明确的领导者机制简化了系统行为分析和调试。 --- ### **6. 总结** - **Raft 是什么**：一种通过领导者选举和日志复制实现分布式一致性的算法。 - **为什么重要**：解决了分布式系统中数据一致性与高可用性的平衡问题。 - **适用场景**：需要强一致性的分布式存储、服务发现、配置管理等系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值