K8S的核心组件Etcd介绍

已于 2022-11-11 14:51:26 修改
阅读量4.8k 收藏 11
点赞数 4
分类专栏： 爱数技术专栏 文章标签： 中间件 etcd
于 2022-09-25 20:28:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_58029845/article/details/126970997
版权
Etcd是一个用Go语言编写的分布式key-value存储系统，它基于Raft一致性算法，提供高可用性和数据一致性。在Kubernetes中，Etcd用于存储集群的所有配置和对象状态。Etcd的主要功能包括基本的key-value存储、监听机制、原子操作等，适用于服务发现、分布式锁、集群管理等应用场景。与其他分布式协调服务如Zookeeper、Consul相比，Etcd在并发原语、服务发现、健康检查等方面有独特优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

Etcd简介

Etcd主要功能

Etcd特点

Etcd集群中的术语

Etcd架构及组件

Etcd工作原理

Etcd应用场景

服务发现

消息发布与订阅（配置中心）

负载均衡（集群管理）

分布式锁

分布式队列

集群监控与LEADER竞选

Etcd、Zookeeper、Consul 比较

参考资料

Etcd简介

  • Etcd是采用Go语言编写的一个分布式key-value 存储，它通过Raft协议进行leader选举和数据备份，对外提供高可用的数据存储，能有效应对网络问题和机器故障带来的数据丢失问题。同时它还可以提供服务发现、分布式锁、分布式数据队列、分布式通知和协调、集群选举等功能。

  • 在kubernetes集群中，Etcd用于保存集群所有的网络配置和对象的状态信息。

  • Etcd主要解决的是分布式系统中数据一致性的问题，而分布式系统中的数据分为控制数据和应用数据，Etcd处理的数据类型为控制数据，对于很少量的应用数据也可以进行处理。

Etcd主要功能

  • 基本的key-value存储

  • 监听机制

  • key的过期及续约机制，用于监控和服务发现

  • 原子CAS和CAD，用于分布式锁和leader选举

Etcd特点

  • 完全复制：集群中的每个节点都可以使用完整的存档

  • 高可用性：Etcd可用于避免硬件的单点故障或网络问题

  • 一致性：每次读取都会返回跨多主机的最新写入

  • 简单：包括一个定义良好、面向用户的API（gRPC）

  • 安全：实现了带有可选的客户端证书身份验证的自动化TLS

  • 可靠：使用Raft算法实现了强一致、高可用的服务存储目录

  • 监测变更：监测特定的键或目录以进行更改，并对值的变更做出反应

  • 快速：根据官方提供的benchmark数据，单实例支持每秒2K+读操作

Etcd集群中的术语

关键词 解释
Raft Etcd 所采用的保证分布式系统强一致性的算法
Node 一个Raft状态机实例
Member 一个Etcd实例。它管理着一个Node，并且可以为客户端请求提供服务
Cluster 由多个Member构成可以协同工作的Etcd集群
Peer 对同一个Etcd集群中另外一个Member的称呼
Client 向Etcd集群发送HTTP请求的客户端
WAL 预写式日志，Etcd用于持久化存储的日志格式
snapshot Etcd防止WAL文件过多而设置的快照，存储Etcd数据状态
Proxy Etcd的一种模式，为Etcd集群提供反向代理服务
Leader Raft算法中通过竞选而产生的处理所有数据提交的节点
Follower 竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证
Candidate 当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始Leader竞选
Term 某个节点成为Leader到下一次竞选开始的时间周期，称为一个Term
Index 数据项编号。Raft中通过Term和Index来定位数据。

Etcd架构及组件

 Etcd主要分为四个部分【http server、store、raft、WAL】 HTTP Server： 用于处理用户发送的API请求以及其他etcd节点的同步与心跳信息请求

Store: 用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。

Raft： Raft 强一致性算法的具体实现，是 etcd 的核心。

WAL：Write Ahead Log（预写式日志/日志先行）

最低0.47元/天 解锁文章
k8s学习笔记（5）--- kubernetes核心组件之etcd详解
梦谜的博客
12-29 4505
kubernetes核心组件之etcd详解一、etcd二、etcd部署1.采用etcd镜像的方式部署1.1 将服务器添加进集群的两种方式1.1.1 将服务器挨个添加进集群 一、etcd         etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于 Zo...
K8S学习指南(59)-K8S核心组件ETCD简介
俞兆鹏的博客
01-04 1985
etcd作为Kubernetes（K8S）的核心组件之一，承担了分布式配置存储和服务发现的任务。它的设计思路、在K8S集群中的主要功能、内部工作原理以及与其他NoSQL产品的比较，都对整个Kubernetes集群的稳定性和可靠性有着重要的影响。本文将深入探讨etcd的方方面面，以期帮助读者更全面地理解和有效地使用Kubernetes。etcd作为Kubernetes的核心组件，扮演着分布式配置存储和服务发现的关键角色。其一致性和可靠性机制，保证了整个Kubernetes集群的稳定运行。
k8s之etcd
wyx的博客
04-17 1665
etcd 是云原生架构中重要的基础组件。etcd 是一个高度一致的分布式键值存储，它提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据。它可以优雅地处理网络分区期间的 leader 选举，以应对机器的故障，即使是在 leader 节点发生故障时。
Kubernetes etcd 详细介绍
最新发布
x²
04-23 596
etcd 是一个高可用、配置性、实时、分布式的键值存储系统，由 CoreOS 开发，是 CNCF 主要项目之一。在 Kubernetes 中，，如 Pod 、Service 、Deployment 等。
总结：K8s之Etcd
热门推荐
w2009211777的专栏
04-06 1万+
一、介绍 Etcd被形容为Kubernetes集群的大脑，是 Kubernetes的关键组件，因为它存储了集群的整个状态：其配置，规格以及运行中的工作负载的状态。 在Kubernetes世界中，etcd用作服务发现的后端，并存储集群的状态及其配置。 Etcd被部署为一个集群，几个节点的通信由Raft算法处理。在生产环境中，集群包含奇数个节点，并且至少需要三个。 关于 etcd 本文的主角是 etcd。名称 “etcd” 源自两个想法，即 unix “/etc” 文件夹 和 “d” 分布式系统。“/
k8s的核心组件etcd功能详解【含etcd各类参数详细说明】
2401_84049282的博客
04-16 1921
面试难免让人焦虑不安。经历过的人都懂的。但是如果你提前预测面试官要问你的问题并想出得体的回答方式，就会容易很多。此外，都说“面试造火箭，工作拧螺丝”，那对于准备面试的朋友，你只需懂一个字：刷！给我刷刷刷刷，使劲儿刷刷刷刷刷！今天既是来谈面试的，那就必须得来整点面试真题，这不花了我整28天，做了份“Java一线大厂高岗面试题解析合集：JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法等”
K8s之Etcd
weixin_34402090的博客
11-13 2077
Etcd是一个开源的、高可用的、分布式的键值对数据存储系统，提供共享配置、服务的注册和发现。etcd与zookeeper相比算是轻量级系统，两者的一致性协议也一样，etcd的raft比zookeeper的paxos简单。Etcd基于Go语言实现。 简单：基于HTTP+JSON的API让你用curl命令就可以轻松使用。 安全：可选SSL客户认证机制。 快速：每个实例每秒支持一千次写操作。 ...
k8s 二进制安装 etcd 3.5.1
03-21
在Kubernetes（k8s）集群中，etcd是一个至关重要的组件，它是分布式键值存储系统，用于存储集群的状态和配置数据。etcd基于Google的Raft一致性算法，确保了数据在分布式环境中的强一致性。在本文中，我们将详细介绍...
K8s-etcd组件概述
st831201的专栏
04-11 1479
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、etcd在K8s中的功能二、etcd主要组件1.HTTP2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： K8s，也就是Kubernetes，是容器时代的云管平台，在容器化和微服务中应用广泛。与OpenStack类似，K8s也是由多个组件共同协作完成的，跟业务部署相关的Deployment；kubelet接收Master发送的信息；apiserver提供对外接口；scheduler负责调度；etcd负责监.
k8s的etcd
weixin_30622181的博客
06-29 391
etcd是一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。 etcd是一个服务发现系统，具备以下的特点： 简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单 安全：支持SSL证书验证 快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作 可靠：采用raft算法，实现分布式系统数据...
在k8s中，etcd有什么作用？
wlzx059的博客
11-01 2061
配置和动态更新：Kubernetes 中的各种配置信息和状态信息都存储在 etcd 中，包括部署、服务、副本集等。这使得集群的配置能够动态更新，管理员和用户可以通过 Kubernetes API 或 kubectl 工具来管理和修改集群状态，而这些更改都会反映在 etcd 存储中。总之，etcd 在 Kubernetes 中扮演了关键的角色，它是整个集群的“大脑”，存储和管理了集群的状态信息，确保集群的配置和状态的一致性，并为 Kubernetes 的各个组件提供了数据存储和访问的基础。
k8s etcd
mnasd的博客
10-23 434
#[Member] #ETCD_CORS="" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #ETCD_WAL_DIR="" ETCD_LISTEN_PEER_URLS="https://192.168.10.202:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.10.202:2379,http://127...
etcd 及 etcd 在 k8s中的用法
Jeacean的博客
05-26 1万+
什么是 etcd？ etcd是一个分布式一致性键值存储系统，用于共享配置和服务发现 简单：定义清晰、面向用户的API（gRPC） 安全：可选的客户端TLS证书自动认证 快速：每秒10000写入 可靠：使用Raft算法，实现分布式系统数据的可用性和一致性 from: etcd_github etcd_io etcd 使用 etcd厂商提供了命令行客户端 etcdctl，可以使用客户端直接跟etcd交互 etcdctl使用方法 WARNING: Environment vari
k8s中的etcd的作用
qq_42533216的博客
09-24 5120
原理图 单节点部署etcd yum install etcd -y vim /etc/etcd/etcd.conf #[Member] ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #etcd数据保存的地址 ETCD_LISTEN_PEER_URLS="http://192.168.26.91:2380,http://localhost:2380" #多个etcd之间相互通讯监听的端口 ETCD_LISTEN_CLIENT_URLS="http://...
k8s的核心组件etcd的安装使用、快照说明及etcd命令详解【含单节点，多节点和新节点加入说明】
2401_84010702的博客
04-17 1265
为什么我不完全主张自学？①平台上的大牛基本上都有很多年的工作经验了，你有没有想过之前行业的门槛是什么样的，现在行业门槛是什么样的？以前企业对于程序员能力要求没有这么高，甚至十多年前你只要会写个“Hello World”，你都可以入门这个行业，所以以前要入门是完全可以入门的。②现在也有一些优秀的年轻大牛，他们或许也是自学成才，但是他们一定是具备优秀的学习能力，优秀的自我管理能力（时间管理，静心坚持等方面）以及善于发现问题并总结问题。
k8s中的etcd组件
02-06
### Kubernetes 中 Etcd 组件介绍 #### 一、基本概念 Etcd 是一个分布式的键值数据库，旨在提供可靠的服务发现和配置管理。作为 Kubernetes 的核心组件之一，etcd 存储了整个集群的状态信息以及元数据，确保这些重要数据的一致性和持久化[^1]。 #### 二、主要功能 - **存储集群配置与状态**: 所有节点的信息、Pod定义、Service定义等都存放在 etcd 中。 - **保障高可用性**: 通过 Raft 协议实现分布式系统的强一致性读写操作，即使部分节点失效也能维持正常工作。 - **支持水平扩展**: 可以方便地增加新的成员来提升性能或冗余度。 - **安全机制**: 提供身份验证和授权等功能保护敏感数据的安全访问[^2]。 #### 三、架构与组件 etcd 使用 Go 编程语言编写而成，在内部实现了Raft算法来进行领导者选举及日志复制过程；外部接口方面，则提供了 gRPC API 和 HTTP RESTful API 方便其他应用程序与其交互。对于Kubernetes而言，控制平面中的各个模块（如API Server, Controller Manager, Scheduler）都需要依赖于etcd所提供的服务[^3]。 #### 四、部署方式 通常情况下，为了提高稳定性和可靠性，建议采用多副本的方式安装etcd集群。具体来说就是将多个实例分布在不同的物理机器上，并设置合理的监听地址和服务端口以便相互之间可以相互通信。此外，还可以利用静态 Pod 或者 DaemonSet 来简化部署流程并自动维护其生命周期。 #### 五、数据快照备份 考虑到灾难恢复的需求，定期执行完整的etcd数据集备份是非常必要的措施之一。这可以通过官方提供的`etcdctl`工具轻松完成——只需指定目标路径即可生成最新的快照文件。值得注意的是，此过程中不会干扰到现有业务逻辑的连续运作[^4]。 ```bash # 示例命令：创建 etcd 数据库快照 etcdctl --endpoints="x.x.x.x:2379" \ --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem \ --cert=/etc/kubernetes/pki/etcd/etcd.pem \ --key=/etc/kubernetes/pki/etcd/etcd-key.pem \ snapshot save /backup/etcd-snapshot.db ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值