Deis集群中节点的添加与移除操作指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00233/article/details/148487881

Deis集群中节点的添加与移除操作指南

deis Deis v1, the CoreOS and Docker PaaS: Your PaaS. Your Rules. 项目地址: https://gitcode.com/gh_mirrors/de/deis

前言

在管理Deis集群时，节点的动态调整是一个常见需求。本文将详细介绍如何在Deis集群中安全地添加和移除节点，特别是针对存储相关组件的特殊处理。Deis使用Ceph作为其底层存储系统，因此在节点变更时需要特别注意Ceph集群的健康状态。

节点变更前的准备工作

在进行任何节点变更操作前，首先需要检查Ceph集群的健康状态：

$ nse deis-store-admin
root@deis-1:/# ceph -s

健康状态应为HEALTH_OK，所有placement groups状态应为active+clean。这是进行节点变更操作的前提条件。

添加新节点到Deis集群

添加步骤

准备一个新的CoreOS机器，使用与现有集群相同的etcd发现URL
启动新机器，它将自动加入etcd集群
验证新节点是否成功加入：

$ fleetctl list-machines

由于store组件是全局单元，它们会自动在新节点上启动
监控Ceph集群状态，等待数据重新平衡完成

注意事项

添加节点后，Ceph会进入HEALTH_WARN状态，这是正常的数据重新平衡过程
使用ceph -w命令可以实时监控数据迁移进度
只有当集群恢复到HEALTH_OK状态后，才能进行其他操作

从Deis集群移除节点

移除节点比添加节点更为复杂，特别是当节点运行着deis-store组件时。下面以移除三节点集群中的第一个节点(deis-1)为例。

移除OSD(对象存储守护进程)

获取要移除节点的OSD ID：

$ etcdctl get /deis/store/osds/172.17.8.100

标记OSD为out状态，开始数据迁移：

$ nse deis-store-admin
root@deis-2:/# ceph osd out <OSD_ID>

使用ceph -w监控数据迁移进度，直到集群恢复HEALTH_OK状态
在要移除的节点上停止存储守护进程：

$ docker stop deis-store-daemon

从Ceph集群中移除OSD：

root@deis-2:/# ceph osd crush remove osd.<OSD_ID>
root@deis-2:/# ceph auth del osd.<OSD_ID>
root@deis-2:/# ceph osd rm <OSD_ID>

清理etcd中的OSD记录：

$ etcdctl rm /deis/store/osds/<NODE_IP>

移除Monitor(监控节点)

从etcd中移除monitor记录：

$ etcdctl rm /deis/store/hosts/<NODE_IP>

停止monitor容器：

$ docker stop deis-store-monitor

从Ceph集群中移除monitor：

root@deis-2:/# ceph mon remove <NODE_NAME>

移除Metadata Server(元数据服务器)

停止metadata容器：

$ docker stop deis-store-metadata

从etcd集群中移除节点

最后需要从etcd集群中移除该节点的成员记录，具体操作参考etcd的API文档。

自动化节点移除

Deis提供了两个实验性的systemd单元来简化节点移除过程：

graceful-etcd-shutdown.service：用于运行etcd的节点
graceful-ceph-shutdown.service：用于运行deis-store组件的节点

启用方法：

# 对于etcd节点
$ systemctl enable graceful-etcd-shutdown
$ systemctl start graceful-etcd-shutdown

# 对于存储节点(需先安装store-admin)
$ deisctl install store-admin
$ deisctl start store-admin
$ systemctl enable graceful-ceph-shutdown
$ systemctl start graceful-ceph-shutdown

这些单元会在关机、重启事件发生时自动执行清理操作。