【ETCD】当客户端从follower节点发起写请求时候，ETCD集群是如何处理此次的写请求呢？

最新推荐文章于 2025-11-30 18:24:05 发布
原创 最新推荐文章于 2025-11-30 18:24:05 发布 · 977 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etcd #java #网络

当客户端从follower节点发起写请求时候，ETCD集群是如何处理此次的写请求呢？
从follow节点发起写请求

目录

1. 客户端发起请求

  • 功能：客户端向ETCD集群中的某个Follower节点发起写请求（通过gRPC端点）。
  • 原因：客户端需要将数据写入ETCD，通常是键值对的形式。
  • 作用：这是整个写入流程的起点，触发ETCD的数据一致性流程。即使请求落到Follower节点，集群内部会确保正确处理。

2. Follower节点转发请求

  • 功能：Follower节点接收到请求后，将其转发至当前集群的Leader节点。
  • 原因：Raft一致性协议要求，只有Leader节点可以处理写入请求，Follower节点只能处理读取请求或转发写入请求。
  • 作用：确保ETCD遵循Raft协议，将写请求交由Leader处理，避免数据冲突。

3. 转发给Leader节点

  • 功能：Follower节点将请求通过内部集群通信转发给Leader节点。
  • 原因：Leader节点是整个Raft集群中负责写入操作的核心节点，只有Leader才能协调数据一致性。
  • 作用：将客户端写请求正确路由到能处理该请求的Leader节点，避免写入失败。

4. Leader节点处理请求

4.1 写入预写日志（WAL）
  • 功能：Leader节点首先将事务数据写入自己的WAL（Write Ahead Log）。
  • 原因：WAL是Raft协议中关键的一环，用于保证在节点宕机时能够恢复未完成的操作。
  • 作用：通过持久化事务数据，确保即使系统崩溃，数据不会丢失，满足可靠性要求。
4.2 发送复制请求
  • 功能：Leader节点通过Raft协议将数据广播给其他Follower节点，请求它们将事务写入各自的WAL中。
  • 原因：Raft协议需要在集群中多数节点都持久化数据后，才能认为事务成功。
  • 作用：确保集群内多数节点拥有该事务的副本，从而提供容错能力。

5. Follower节点持久化数据

  • 功能：Follower节点将接收到的事务数据写入自己的WAL。
  • 原因：WAL是数据一致性的核心部分，所有节点都需要将事务数据持久化到WAL中。
  • 作用：让Follower节点保存事务副本，为Leader确认数据复制成功提供依据。

6. Leader确认复制完成

  • 功能：Leader节点等待多数（通常是集群的多数节点）Follower节点确认已将事务数据写入它们的WAL。
  • 原因：Raft协议要求，只有当集群中超过半数节点持久化数据时，事务才能被标记为提交。
  • 作用：通过多数节点的确认，保证数据在分布式环境中的一致性和容错能力。

7. Leader节点确认提交

  • 功能：Leader节点在满足多数派原则后，将事务标记为“已提交”。
  • 原因：Raft协议设计通过多数派投票机制确保数据提交安全且可靠。
  • 作用：事务一旦提交，集群中的所有节点都必须最终应用该事务，防止数据丢失。

8. Follower节点标记为已提交

  • 功能：Leader节点将提交信息广播给Follower节点，Follower节点将事务标记为“已提交”。
  • 原因：确保集群中的所有节点都知道该事务已经成功提交。
  • 作用：Follower节点同步事务状态，为之后应用事务到实际存储打下基础。

9. 通知etcd服务器应用提交的条目

  • 功能：Leader节点通知etcd服务器将已提交的事务应用到MVCC存储和后端。
  • 原因：WAL仅保证事务持久化，数据最终需要应用到存储引擎才能对外生效。
  • 作用：将已提交的事务应用到实际存储，完成对数据的更新。

10. 应用条目到MVCC存储和后端

  • 功能：etcd服务器将事务数据应用到MVCC存储，并异步同步到BoltDB文件。
    • MVCC存储：多版本并发控制存储，支持高效的并发读写。
    • BoltDB文件：将MVCC存储中的数据异步写入磁盘，确保持久化。
  • 原因：MVCC存储提供高性能的读写能力，BoltDB则提供数据的最终持久化保障。
  • 作用：完成整个写入操作，同时通过异步方式提升性能，避免阻塞写入路径。

11. 返回成功响应

  • 功能：etcd服务器返回成功的gRPC响应给客户端，通知写操作完成。
  • 原因：让客户端知道写入已经成功提交到集群，保证操作的可观测性。
  • 作用：为客户端提供可靠的反馈，标志整个写入流程的结束。

总结

这个过程展现了ETCD在分布式环境中处理写请求的完整流程：

  • 通过Raft协议实现一致性和容错能力。
  • 利用WAL和MVCC存储实现高性能和高可靠性。
  • 异步持久化进一步提高写入效率。

这种设计确保ETCD既能满足高可用性的要求，也能在分布式环境中提供一致性和可靠性。

张声录1
关注
etcd 的put 请求（二）
新手写博客的专栏
01-28 742
put请求进入etcd raft协议 在主节点和follower节点的交互
etcd系列-----raft协议：理论基础篇（一）-------leader选举
cyq6239075的博客
04-08 927
常见的一致性算法有Paxos、 Raft等，Paxos协议是LeslieLamport于1990年提出的一种基于消息传递的、具有高度容错特性的一致性算法，Paxos 算法解决的主要问题是分布式系统内如何就某个值达成一致。 在相当长的一段时间内，Paxos 算法几乎成为一致性算法的代名词，但是Paxos 有两个明显的缺点：第一个也是最明显的缺点就是Paxos算法难以理解，Paxos算法的论文本身就比...
ETCD 学习
qq_42270334的博客
05-06 681
官网：https://etcd.io/docs/v3.3/learning/client-architecture/参考blog ： https://www.cnblogs.com/huageyiyangdewo/p/17558210.html主要参考和引用：https://blog.youkuaiyun.com/qq_24433609/article/details/120653747。
Etcd集群选举细节
喝醉酒的小白
05-08 1580
在 etcd 集群中，领导者选举是 Raft 协议的一部分，用于在当前领导者失败或无法与集群中的其他节点通信时选出新的领导者。这条日志表明节点丢失了它的领导者，这通常发生在领导者无法响应其他节点的心跳或请求时。由于丢失了领导者，节点开始了一个新的选举过程。在 Raft 协议中，选举过程包括预投票（PreVote）和投票（Vote）阶段。节点成为了一个预候选者（pre-candidate），这是选举过程的第一步，节点会请求其他节点的预投票。节点向另一个节点发送了一个预投票请求。
ETCD如何处理读写请求
chunmiao3032的专栏
07-02 982
主要就是etcd的leader和follower间的关系写请求处理：客户端发起写操作时，例如将x=1，随机从etcd集群中挑一个地址，如果挑的是follwer，那么他会把请求转发给leader，如果客户端挑的是leader那就不需要转发该请求了；leader首先在本地写个日志，然后发起一个议案，议案的内容就是分发日志给follower，看看是否能达成共识， 如果议案所有follower都达成共识，那么leader就进行数据提交，开始写数据，数据写完后，leader会把结果返回给客户端，告诉客户端数据已经写成
ETCD（五）写请求执行过程
weixin_44477424的博客
04-20 1297
客户端执行写请求指令etcd还有个buffer模块，可以保存暂未提交的数据，此时可能boltdb里面没有，但是在buffer里面可以提前拿到。可以用来提高并发效率。
etcd一个读请求是如何执行的？
qq_33240556的博客
03-20 729
你可以理解一旦一个值更新成功，随后任何通过线性读的client都能及时访问到。虽然集群中有多个节点，但client通过线性读就如访问一个节点一样。etcd默认读模式是线性读，因为它需要经过Raft协议模块，反应的是集群共识，因此在延时和吞吐量上相比串行读略差一点，适用于对数据一致性要求高的场景。如果你的etcd读请求显示指定了是串行读，就不会经过架构图流程中的流程三、四。默认是线性读，因此接下来我们看看读请求进入线性读模块，它是如何工作的。
ETCD读写处理
chunmiao3032的专栏
07-03 675
轻量、高可用的分布式组件，分布式系统协调和元数据存储1、高可用：一半节点存活就可以提供服务2、一致性：leader选举，日志复制，同步数据3、watch机制4、运维复杂性低写请求：log同步、状态机维护读请求：线性一致性L=leader，F=follower（从节点）写请求： 1、客户端发起修改数据请求，v=32.1、leader以日志的形式将修改请求下发给从节点3.1，3.2、从节点收到这个事件，先将日志保存到节点的日志文件中，保存成功后，会给leader回复一个响应v=3这个事收到了，但是还有没改4.1
3-11-etcd5节点集群的核心原理
xuebo1129927648的博客
06-26 99
Raft 算法的单主本质ETCD 基于 Raft 共识算法，同一时间仅能存在 1 个主节点（Leader），其余节点均为从节点（Follower）或候选者（Candidate）。“3 主 2 从” 的表述易引发误解，实际应理解为5 节点集群（1 主 + 4 从），或用户可能混淆了 “节点数量” 与 “角色”。5 节点集群的典型架构5 节点集群遵循 Raft 算法的 “奇数节点原则”，其核心优势是可容忍 2 个节点故障（多数派需 3 个节点确认），比 3 节点集群（容忍 1 节点故障）更健壮。
【ETCD集群安装】
weixin_47712732的博客
11-06 1031
ETCD集群是一个分布式系统,使用Raft协议来维护集群内各个节点状态的一致性。etcd主机状态分为 Leader, Follower, Candidate ，当集群初始化时，每个节点都是Follower角色，然后会把自己的角色改成Candidate并发起一次选举投票，被选为主的节点角色为Leader，其他节点角色转为Follower。
ETCD介绍—etcd概念及原理方面分析
热门推荐
Linuxhus的博客
09-01 2万+
etcd作为一个受到ZooKeeper与doozer启发而催生的项目，除了拥有与之类似的功能外，更专注于以下四点。 简单：基于HTTP+JSON的API让你用curl就可以轻松使用。 安全：可选SSL客户认证机制。 快速：每个实例每秒支持一千次写操作。 可信：使用Raft算法充分实现了分布式。 分布式系统中的数据分为控制数据和应用数据。etcd的使用场景默认处理的数据都是控制数据，对于应用数据，只推荐数据量很小，但是更新访问频繁的情况。应用场景有如下几类：场景一：服务发现（Service Disco
万字详解：etcd、HBase 与 Redis 技术原理对比与应用场景选型 & 用生活实例讲透技术本质与应用
AI天才研究院
04-13 330
Redis：内存型键值数据库，注重极高的读写性能etcd：分布式键值存储，注重一致性和可靠性HBase：分布式列族数据库，注重海量数据的可扩展存储选择 Redis 的场景需要极高的读写性能（亚毫秒级响应）数据量相对较小，可以放入内存需要复杂的数据结构（如列表、集合、有序集合等）典型用例：缓存、会话存储、排行榜、计数器、实时分析选择 etcd 的场景需要强一致性保证的小型关键数据服务发现和注册分布式系统的配置管理分布式锁和领导者选举。
降低 80% 的读写响应延迟！我们测评了 etcd 3.4 新特性（内含读写发展史）
数据库技术
09-23 319
导读：etcd 作为K8s 集群中的存储组件，读写性能方面会受到很多压力，而etcd3.4中的新特性将有效缓解压力，本文将从 etcd数据读写机制的发展历史着手，深入解读etcd3.4新特性。 背景 etcd 是 Kubernetes 集群中存储元数据，保证分布式一致性的组件，它的性能往往影响着整个集群的响应时间。而在 K8s 的使用中，我们发现除了日常的读写压力...
etcd中Raft协议
qq_43949280的博客
01-24 3070
文章目录前言Raft协议Leader选举日志复制 前言 文章内容来自：《etcd技术内幕》 — 百里燊，感兴趣的读者可以去读一下。 Paxos 算法和 Raft 算法： Paxos 算法诞生于 1990 年，这是一种解决分布式系统一致性的经典算法 。但是，由于 Paxos 算法非常难以理解和实现，不断有人尝试简化这一算法。到了2013 年才诞生了一个比 Paxos 算法更易理解和实现的分布式一致性算法—Raft 算法。 Raft协议 在正式开始介绍 Raft 协议之间，我们有必要简单介绍一下其相关概念。在分
CKA15--etcd fix
CNCF_CN
11-24 268
kubeadm 配置的集群已迁移到新机器。它需要更改配置才能成功运行。Task修复在机器迁移过程中损坏的单节点集群。首先，确定损坏的集群组件，并调查导致其损坏的原因。注意：已停用的集群使用外部 etcd 服务器。接下来，修复所有损坏的集群组件的配置。注意：确保重新启动所有必要的服务和组件，以使更改生效。否则可能导致分数降低。最后，确保集群运行正常。确保：每个节点 和 所有 Pod 都处于 Ready 状态。模拟环境需要执行这道题的初始化脚本，模拟 etcd 异常。
MyBatis + PageHelper 分页内幕，PageHelper 是如何动态构建 LIMIT 分页 SQL 的
日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导
11-26 1243
若依系统中有很多的表格数据、后端接口实体中并没有看到有接收分页大小和页码的属性，在系统的mapper层面SQL语句中并没有看到对应的分页限制。它是如何实现这个分页效果的呢？是将所有的数据查询出来，然后再分页吗？这样效率岂不是非常低。带着这样的疑问，稍微研究了一下这个系统的分页方法。更多详细文章后端是通过从 HttpServletRequest 对象中获取分页的页码和大小，然后创建Page分页对象，在执行sql查询的时候，动态构建分页限制条件。从而实现分页，并不是在查询到所有数据之后再进行的分页处理。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 873
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
Docker：基于自制openjdk8镜像 or 官方openjdk8镜像，制作tomcat镜像
2509_94186105的博客
11-30 291
78.56 MBopenjdk二进制下载地址Dockerfile中，source /etc/profile不能加载的原因为什么还需要选择使用他的原因：三 中，tomcat普通用户交互式启动tomcat#在 Docker 容器中，/etc/profile 文件不会在容器启动时自动执行，这是因为 Docker 容器通常不会启动交互式登录 shell，而是直接运行指定的命令。
Tomcat下载，安装，配置终极版（2024）
2509_94198917的博客
11-27 340
那么本章内容就到此结束了，如果你不想去官网下载，那我这里也给你提供了Tomcat的安装包。里面是10.20的版本，供你下载。Thank you！链接：https://pan.baidu.com/s/1n8bjvHEFa0ZsX_04k3HX9Apwd=vryp提取码：vryp。
etcd集群工作原理
05-14
<think>好的，用户想了解etcd集群的工作原理，特别是与分布式存储架构相关的部分。我需要结合之前的引用内容来组织回答。首先，根据引用[1]到[4]，etcd基于Raft协议，用于集群管理、配置共享和节点状态监控。应该先解释Raft一致性算法在etcd中的作用，比如选主、日志复制等。 然后，需要描述集群的组成，比如三个节点的角色：Leader、Follower、Candidate，以及它们之间的交互。引用[4]提到etcd使用Raft协议，而ZooKeeper用的是ZAB，Consul也用Raft，这可能对比较有帮助，但用户主要关注etcd，所以重点放在Raft的实现上。 接下来，数据存储机制是关键。etcd的数据模型是键值对，支持范围查询，这点引用[2]和[4]都有提到。需要解释数据如何通过Raft日志同步到各个节点，保证一致性。另外，引用[4]中的性能优化参数，如--max-request-bytes和快照配置，可以说明数据持久化和恢复机制。 读写流程部分，Leader处理写请求，Follower响应读请求，但为了强一致性可能需要线性化读，这里可能需要引用[2]中的分布式锁和写屏障概念。读写性能方面，引用[4]指出etcd在高性能场景下优化较好，比如使用SSD。 高可用性和灾难恢复也是重点。etcd集群通过多数派机制维持可用性，引用[1]提到超大规模集群管理，说明其扩展性。灾难恢复部分引用[4]的技术对比，可以提到快照和日志回放。 最后，应用场景如Kubernetes的服务发现和配置存储，引用[3]和[4]都提到了，需要联系实际用例。同时，相关问题可以围绕选主机制、数据一致性保证、性能优化等展开，帮助用户深入理解。</think>### etcd集群工作原理分步解析 ### 一、Raft一致性协议核心机制 etcd集群采用Raft算法实现分布式一致性，包含三个关键过程： 1. **Leader选举**：当Follower节点超过$election-timeout$（默认5秒）未收到心跳，会发起选举成为Candidate，需要获得$N/2+1$节点的投票才能成为Leader[^4] $$ \text{选举成功条件}：\text{得票数} > \lfloor \frac{N}{2} \rfloor $$ 2. **日志复制**：Leader将客户端请求封装为日志条目，通过$AppendEntries$ RPC同步给Followers，收到多数节点确认后提交 3. **成员变更**：使用Joint Consensus机制实现节点动态增删，确保配置变更期间集群持续可用 ### 二、集群节点角色与交互 | 角色 | 职责 | 状态转换条件 | |------------|--------------------------------------|----------------------------------| | Leader | 处理所有写请求，发送心跳包 | 失去多数节点连接时退位 | | Follower | 响应Leader心跳，转发写请求到Leader | 选举超时后成为Candidate | | Candidate | 发起选举投票请求 | 获得多数票成为Leader | ![etcd集群架构图](https://example.com/etcd-arch.png)（示意图：三节点组成的Raft集群） ### 三、数据存储与同步机制 1. **键值存储引擎**：采用B+树结构的MVCC多版本存储 - 每个修改操作生成新的修订版本(revision) - 支持事务操作：`IF`条件判断 + `THEN/ELSE`执行体 2. **数据同步流程**： ```go // 伪代码示例写请求处理 func handlePutRequest(key, value) { if currentRole != Leader { return redirectToLeader() } logEntry := createLogEntry(key, value) replicateToFollowers(logEntry) if majorityAckReceived() { applyToStateMachine() return successResponse() } } ``` 3. **持久化保障**： - 预写日志(WAL)：每次更新先写入磁盘日志 - 定期快照：当日志条目超过$snapshot-count$（默认10万）时创建快照[^4] ### 四、读写操作处理 1. **写请求**： - 必须通过Leader节点处理 - 需要满足$W > N/2$的写入确认（W为写确认节点数） 2. **读请求**： - 默认提供线性一致性读 - 通过ReadIndex机制避免脏读： ```mermaid sequenceDiagram Client->>Leader: 读请求 Leader->>Leader: 记录当前commit index Leader->>Followers: 心跳确认多数派存活 Leader->>Client: 返回最新已提交数据 ``` ### 五、高可用保障措施 1. **故障恢复**： - Leader故障：在$election-timeout$内完成新Leader选举 - 网络分区：采用PreVote机制防止脑裂 2. **动态配置**： - 安全变更成员：`etcdctl member add/remove` - 滚动升级支持：通过`--enable-v2=false`逐步淘汰旧协议 3. **监控指标**： - 核心指标监控项： ```bash etcd_server_leader_changes_seen_total # Leader变更次数 etcd_disk_wal_fsync_duration_seconds # 持久化延迟 etcd_network_client_grpc_sent_bytes # 网络吞吐量 ``` ### 六、与Kubernetes的集成实践 1. **服务发现**： - 存储所有Pod的Endpoint信息 - Watch机制实时通知服务变更 2. **配置管理**： - 存储集群的ConfigMap和Secret - 支持加密存储敏感数据 3. **调度协调**： - 存储节点状态信息 - 协助完成分布式锁控制
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值