etcd集群(TLS)搭建和使用

最新推荐文章于 2025-03-26 21:57:23 发布
最新推荐文章于 2025-03-26 21:57:23 发布
阅读量4.9k 收藏 2
点赞数
分类专栏： etcd 文章标签： etcd tls
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41065919/article/details/121787996
版权

环境

nameipos
etcd1192.168.79.103centos7
etcd2192.168.79.104centos7
etcd3192.168.79.105centos7

以下操作默认在etcd1执行

1、安装cfssl

rm -f /tmp/cfssl* && rm -rf /tmp/certs && mkdir -p /tmp/certs

curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /tmp/cfssl
chmod +x /tmp/cfssl
sudo mv /tmp/cfssl /usr/local/bin/cfssl

curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /tmp/cfssljson
chmod +x /tmp/cfssljson
sudo mv /tmp/cfssljson /usr/local/bin/cfssljson

/usr/local/bin/cfssl version
/usr/local/bin/cfssljson -h

2、生成CA证书

mkdir -p /tmp/certs

cat > /tmp/certs/etcd-root-ca-csr.json <<EOF
{
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "O": "etcd",
      "OU": "etcd",
      "L": "Guangzhou",
      "ST": "Guangdong",
      "C": "china"
    }
  ],
  "CN": "etcd-root-ca"
}
EOF
cfssl gencert --initca=true /tmp/certs/etcd-root-ca-csr.json | cfssljson --bare /tmp/certs/etcd-root-ca

# verify
openssl x509 -in /tmp/certs/etcd-root-ca.pem -text -noout

# cert-generation configuration
cat > /tmp/certs/etcd-gencert.json <<EOF
{
  "signing": {
    "default": {
        "usages": [
          "signing",
          "key encipherment",
          "server auth",
          "client auth"
        ],
        "expiry": "87600h"
    }
  }
}
EOF

3、颁发证书

cat > /tmp/certs/etcd-ca-csr.json <<EOF
{
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "O": "etcd",
      "OU": "etcd",
      "L": "Guangzhou",
      "ST": "Guangdong",
      "C": "china"
    }
  ],
  "CN": "etcd",
  "hosts": [
    "192.168.79.103",
    "192.168.79.104",
    "192.168.79.105"
  ]
}
EOF

cfssl gencert \
  --ca /tmp/certs/etcd-root-ca.pem \
  --ca-key /tmp/certs/etcd-root-ca-key.pem \
  --config /tmp/certs/etcd-gencert.json \
  /tmp/certs/etcd-ca-csr.json | cfssljson --bare /tmp/certs/server

# verify
openssl x509 -in /tmp/certs/server.pem -text -noout

4、复制证书到另外两台主机

scp -r /tmp/certs/ root@192.168.79.104:/tmp/certs/
scp -r /tmp/certs/ root@192.168.79.105:/tmp/certs/

5、安装etcd

# 三台主机都需要安装

ETCD_VER=v3.5.1
# choose either URL
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/coreos/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}

rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/test-etcd && mkdir -p /tmp/test-etcd

curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/test-etcd --strip-components=1

# sudo cp /tmp/test-etcd/etcd* [YOUR_EXEC_DIR]
# sudo mkdir -p /usr/local/bin/ && sudo cp /tmp/test-etcd/etcd* /usr/local/bin/

/tmp/test-etcd/etcd --version
ETCDCTL_API=3 /tmp/test-etcd/etcdctl version

6、使用systemd运行etcd

# 如果集群是新的，则删除此目录；如果重新启动 etcd，则保留
# rm -rf /tmp/etcd/data

etcd1的配置文件

cat > /tmp/etcd.service <<EOF

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/tmp/test-etcd/etcd --name etcd1 \
  --data-dir /tmp/etcd/data \
  --listen-client-urls https://192.168.79.103:2379 \
  --advertise-client-urls https://192.168.79.103:2379 \
  --listen-peer-urls https://192.168.79.103:2380 \
  --initial-advertise-peer-urls https://192.168.79.103:2380 \
  --initial-cluster etcd1=https://192.168.79.103:2380,etcd2=https://192.168.79.104:2380,etcd3=https://192.168.79.105:2380 \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --client-cert-auth \
  --trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --cert-file /tmp/certs/server.pem \
  --key-file /tmp/certs/server-key.pem \
  --peer-client-cert-auth \
  --peer-trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --peer-cert-file /tmp/certs/server.pem \
  --peer-key-file /tmp/certs/server-key.pem

EOF

etcd2的配置文件

cat > /tmp/etcd.service <<EOF

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/tmp/test-etcd/etcd --name etcd2 \
  --data-dir /tmp/etcd/data \
  --listen-client-urls https://192.168.79.104:2379 \
  --advertise-client-urls https://192.168.79.104:2379 \
  --listen-peer-urls https://192.168.79.104:2380 \
  --initial-advertise-peer-urls https://192.168.79.104:2380 \
  --initial-cluster etcd1=https://192.168.79.103:2380,etcd2=https://192.168.79.104:2380,etcd3=https://192.168.79.105:2380 \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --client-cert-auth \
  --trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --cert-file /tmp/certs/server.pem \
  --key-file /tmp/certs/server-key.pem \
  --peer-client-cert-auth \
  --peer-trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --peer-cert-file /tmp/certs/server.pem \
  --peer-key-file /tmp/certs/server-key.pem

EOF

etcd3的配置文件

cat > /tmp/etcd.service <<EOF

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/tmp/test-etcd/etcd --name etcd3 \
  --data-dir /tmp/etcd/data \
  --listen-client-urls https://192.168.79.105:2379 \
  --advertise-client-urls https://192.168.79.105:2379 \
  --listen-peer-urls https://192.168.79.105:2380 \
  --initial-advertise-peer-urls https://192.168.79.105:2380 \
  --initial-cluster etcd1=https://192.168.79.103:2380,etcd2=https://192.168.79.104:2380,etcd3=https://192.168.79.105:2380 \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --client-cert-auth \
  --trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --cert-file /tmp/certs/server.pem \
  --key-file /tmp/certs/server-key.pem \
  --peer-client-cert-auth \
  --peer-trusted-ca-file /tmp/certs/etcd-root-ca.pem \
  --peer-cert-file /tmp/certs/server.pem \
  --peer-key-file /tmp/certs/server-key.pem

EOF

参数说明

参数意义
name节点名称， 在 --initial-cluster 标记中列出
data-dir数据存放的目录
listen-client-urls用于监听客户端通讯的URL列表
advertise-client-urls告知客户端URL, 也就是服务的URL(一般与listen-client-urls一样)
listen-peer-urls监听URL，用于与其他节点通讯
initial-advertise-peer-urls告知集群其他节点的URL(一般与listen-peer-urls一样)
initial-cluster集群中所有节点

启动服务


sudo mv /tmp/etcd.service /etc/systemd/system/etcd.service

# to start service
sudo systemctl daemon-reload
sudo systemctl cat etcd.service
sudo systemctl enable etcd.service
sudo systemctl start etcd.service

# to get logs from service
sudo systemctl status etcd.service -l --no-pager
# sudo journalctl -u etcd.service -l --no-pager|less
# sudo journalctl -f -u etcd.service

# to stop service
# sudo systemctl stop etcd.service
# sudo systemctl disable etcd.service

7、验证状态

ETCDCTL_API=3 /tmp/test-etcd/etcdctl \
  --endpoints 192.168.79.103:2379,192.168.79.104:2379,192.168.79.105:2379 \
  --cacert /tmp/certs/etcd-root-ca.pem \
  --cert /tmp/certs/server.pem \
  --key /tmp/certs/server-key.pem \
  endpoint health

8、与etcd交互

# 写数据
etcdctl \
  --endpoints 192.168.79.103:2379 \
  --cacert /tmp/certs/etcd-root-ca.pem \
  --cert /tmp/certs/server.pem \
  --key /tmp/certs/server-key.pem \
  put foo bar
# 读数据 
etcdctl \
  --endpoints 192.168.79.103:2379 \
  --cacert /tmp/certs/etcd-root-ca.pem \
  --cert /tmp/certs/server.pem \
  --key /tmp/certs/server-key.pem \
  get foo
  
# 查看集群信息 是否为leader等
ETCDCTL_API=3 /tmp/test-etcd/etcdctl \
  --endpoints 192.168.79.103:2379,192.168.79.104:2379,192.168.79.105:2379 \
  --cacert /tmp/certs/etcd-root-ca.pem \
  --cert /tmp/certs/server.pem \
  --key /tmp/certs/server-key.pem \
  endpoint status --write-out=table

使用benchmark测试etcd集群性能

go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.io,direct
go get go.etcd.io/etcd/v3/tools/benchmark

# 在Gopath/bin路径下会生成一个benchmark二进制文件

# 读数据
benchmark --endpoints=192.168.79.103:2379,192.168.79.104:2379,192.168.79.105:2379 \
 --conns=100 --clients=1000 \
 put --key-size=8 --sequential-keys --total=100000 --val-size=256

# 写数据
benchmark --endpoints=192.168.79.103:2379,192.168.79.104:2379,192.168.79.105:2379 \
 --conns=100 --clients=1000 \
 range foo --consistency=l --total=10000

参考

http://play.etcd.io/install

https://github.com/etcd-io/etcd

etcd群集部署
taoerchun的专栏
02-23 2434
一、etcd安装 1、下载安装包 从https://github.com/etcd-io/etcd/releases选择自己需要的版本，我用的是3.3.18这个版本 ，可以用wget命令下载 wget https://github.com/etcd-io/etcd/releases/download/v3.3.18/etcd-v3.3.18-linux-amd64.tar.gz 2、解...
Etcd教程 — 第四章 Etcd集群安全配置_etcd 集群配置
2401_84239625的博客
04-28 1469
本文是在Etcd教程 — 第二章 Etcd集群静态发现 2.3节基础上进行的。： 用于服务端认证客户端,例如etcdctl、etcd proxy、fleetctl、docker客户端。: 服务端使用，客户端以此验证服务端身份,例如docker服务端、kube-apiserver。: 双向证书，用于etcd集群成员间通信。
一键安装高可用etcd集群（TLS）
11-21
############################################################ # Copyleft ©2018 freetoo(yigui-lu，卢益贵，码客) # name: Deploying etcd clusters(HA, TLS) # 一键安装高可用etcd集群（TLS） # qq/wx: 48092788 e-mail: gcode@qq.com # blog: https://blog.youkuaiyun.com/guestcode # create: 2018-11-21 #########################
etcd TLS集群
正宗文于
10-11 741
概述 etcd集群默认情况下使用明文互相通讯，在某些场景下不安全，etcd走的都是HTTP协议，当然可以使用TLS/SSL方式加密通讯。 etcd集群用到三个证书： client证书：用于客户端程序，如etcdctl连接 server证书：服务器证书，验证客户端身份 peer证书： 集群成员直接通讯使用 证书的X509v3 extensions信息部分，X509v3 Extended Key Usage表示证书的用途。 server证书"server auth"，client证书"cl
高可用集群系列——Etcd集群的部署
最新发布
Intershark的博客
03-26 1833
etcd部署时推荐
配置Etcd集群和TLS认证
weixin_34163741的博客
04-09 235
由于后续准备在内网开发和测试环境采用二进制方式部署K8S相关组件，并考虑各组件的高可用性和安全性问题,本节介绍etcd服务的集群及tls配置。 一、安装环境介绍 二、Etcd二进制软件包下载地址:https://github.com/coreos/etcd/releases/download/v3.3.2/etcd-v3.3.2-linux-amd64.tar.gz 三、安装与配置etcd组件1、...
etcd + TLS 集群部署
weixin_34219944的博客
04-26 175
不知在哪篇技术文档中看到，kubernetes master和etcd分开部署模式，因为集群的状态都保存在etcd中，这样当kubernetes master挂掉后，通过API Server交互的Scale等功能无法使用外，其他已经部署的Pod仍然能继续工作。基于这种考虑，通过yum以及修改etcd.conf方式部署了一个三节点的etcd集群，但对于企业使用而言，虽然在局域网...
ETCD集群搭建和TLS证书访问
Hey，I'm emmby
08-30 3046
在`/etc/profile`文件中添加环境变量 vi /etc/profile ... export ETCDCTL_API=3 ... source /etc/profile ETCD常用命令 $ ENDPOINTS=10.208.2.145:2379,10.208.2.146:2379,10.208.2.150:2379,10.208.2.151:2379,10.208.2.152:2379 $ bin/etcdctl --write-out=table --endpoints=$ENDPOINTS
kubeadm部署k8s1.27.2版本高可用集群(外部etcd集群带TLS认证）
qq_23191379的博客
01-24 1604
kubeadm1部署k8s1.27.2版本高可用集群(外部etcd集群带TLS认证）
21.2 k8s中etcd的tls双向认证原理解析
福大大架构师每日一题
10-01 1493
tls单向认证原理tls双向认证原理在k8s中etcd监控的应用以ca.crt client.crt client.key创建的secret并挂载到prometheus中prometheus配置证书信息打到采集etcd的目的。
【Kubernetes】二进制部署k8s集群之搭建单机matser和etcd集群
weixin_68840588的博客
08-04 860
二进制部署k8s
etcd 集群部署
u012565458的博客
04-20 869
etcd的集群部署
etcd集群部署
weixin_33775582的博客
04-14 299
概述 节点 etcd有两种节点，分别为集群节点和代理节点。两种节点在使用上几乎没有区别，这使我们可以在每台机器上都安装etcd，进而把etcd当作本地服务使用。它们的区别在于内部原理不同： 集群节点是真正的etcd集群的构成者，这些节点负责数据存取，集群管理等 代理节点可以理解为一个反向代理，它只简单的接受请求，转发请求给etcd集群 集群大小与容错 集群的大小指集群节点的个数。根据 etcd...
etcd集群的搭建
weixin_38043351的博客
02-23 597
1、etcd集群的搭建 环境准备及机器规划：（13台机器） 192.168.43.121 k8s-etcd1 192.168.43.122 k8s-etcd2 192.168.43.123 k8s-etcd3 192.168.43.124 k8s-master1 192.168.43.125 k8s-master2 192.168.43.126 k8s-master3 192.168.43.127 k8s-harbor 192.168.43.131 k8s-node1 192.168.43.132 k8s-
[运维] etcd 集群部署
梦醒贰零壹柒
01-27 361
说明 Etcd 是 CoreOS 基于 Raft 开发的分布式 key-value 存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。 Etcd 主要功能 基本的 key-value 存储 监听机制 key 的过期及续约机制，用于监控和服务发现 原子 CAS 和 CAD，用于分布式锁和 leader 选举 系统环境 系统：debian-10.7 平台：amd64 参考文献 etcd 集群部署 环境准备 角色 操作系统 HostName IP地址 k8s-master1
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值