rookceph重建osd节点过程验证

已于 2025-02-11 17:26:39 修改
阅读量635 收藏 7
点赞数 25
分类专栏： Docker+K8s+Istio 文章标签： k8s rook ceph
于 2025-02-11 17:25:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013189824/article/details/145576298
版权

当集群某个osd节点启动失败，产生莫名奇妙的错，且一直不能启动成功时，我们需要重建此节点重新加入rookceph集群。

我的报错如下，osd pod的expand-blusfs容器日志：

NCB::__restore_allocator::No Valid allocation info on disk (empty file)

首先检查磁盘是否正常：

# 假设失败osd节点对应磁盘nvme4n1
smartctl -a /dev/nvme4n1
# 返回结果：PASSED代表磁盘正常
...
SMART overall-health self-assessment test result: PASSED
...

  • 如果磁盘正常，可能由于osd对应宿主机某些配置缺失或其它原因导致osd不能启动成功，此时就可以重建此osd节点重新加入集群。

  • 如果磁盘不正常，那就需要换盘后重新将osd节点重新加入集群，下面方法同样适用。

重建rook-ceph（1.12版本）某个osd节点过程：

  1. 前置说明

    重建或者替换osd前，先确保集群的空间是足够的，空间不够时需要提前添加一个osd节点到集群中，防止下osd后，ceph数据自动平衡，而此时集群空间不足，导致ceph集群出现更多的报错。

  2. 操作

    假设失败osd的id：1

    # 关闭operator防止其自动检测节点并不断自动启动失败osd
kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas=0

# 关闭osd1 pod
kubectl -n rook-ceph scale deployment rook-ceph-osd-1 --replicas=0

# 删除osd1 pod
kubectl delete deployment -n rook-ceph rook-ceph-osd-1

# 启动job自动清理osd，注意修改osd-purge.yaml中失败osd节点<OSD-IDs>改为1
kubectl apply -f osd-purge-osd1.yaml

# job运行的同时，手动下线失败osd节点，例如失败节点id为1
kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash
ceph osd out osd.1
osd purge 1 --yes-i-really-mean-it

# 清理失败osd对应宿主机上的ceph配置并清理osd磁盘，使其成为新的裸盘（示例为：nvme4n1）
ls /dev/mapper/ceph-* | xargs -I% -- dmsetup remove %
wipefs --all /dev/nvme4n1
mkfs.xfs /dev/nvme4n1 -f
sgdisk --zap-all /dev/nvme4n1
rm -rf /var/lib/rook /dev/ceph-*  /dev/mapper/ceph--*

# 启动operator使其重新识别osd1节点，耐心等待（大概5-10分钟，具体看轮询节点时间配置）。
kubectl -n rook-ceph scale deployment rook-ceph-operator --replicas=1
# 重建过程中如果遇到rookceph某些pod异常（例如对应重建节点mon启动失败），删除使其重建即可
# 最终pod全部正常
NAME                                                      READY   STATUS      RESTARTS           AGE
csi-cephfsplugin-27nsq                                    2/2     Running     0                  82m
csi-cephfsplugin-fncj6                                    2/2     Running     0                  82m
csi-cephfsplugin-mgwsj                                    2/2     Running     0                  82m
csi-cephfsplugin-provisioner-7df6fdbbcf-6jpw8             5/5     Running     0                  82m
csi-cephfsplugin-provisioner-7df6fdbbcf-8xjsq             5/5     Running     0                  82m
csi-rbdplugin-b969d                                       2/2     Running     0                  82m
csi-rbdplugin-provisioner-7d6b6899cb-wtvxw                5/5     Running     0                  82m
csi-rbdplugin-provisioner-7d6b6899cb-zcxcm                5/5     Running     0                  82m
csi-rbdplugin-t6cn9                                       2/2     Running     0                  82m
csi-rbdplugin-w5fvh                                       2/2     Running     0                  79m
rook-ceph-crashcollector-hd1.dev.local-74cbdc8dfb-2zkj9   1/1     Running     0                  97d
rook-ceph-crashcollector-hd2.dev.local-7c9bcf9d69-l8q5s   1/1     Running     1 (28d ago)        70d
rook-ceph-crashcollector-hd3.dev.local-598f8f78f8-jqr2z   1/1     Running     0                  153m
rook-ceph-mds-myfs-a-bbcf98dd5-tnvlx                      2/2     Running     0                  153m
rook-ceph-mds-myfs-b-59c446df67-7vtlm                     2/2     Running     4 (160d ago)       160d
rook-ceph-mgr-a-88b95766b-tb4vz                           3/3     Running     4 (160d ago)       160d
rook-ceph-mgr-b-75c7f6bfb5-l8sjz                          3/3     Running     0                  153m
rook-ceph-mon-d-6c8b886c-tpzfb                            2/2     Running     0                  160d
rook-ceph-mon-g-5fddb59f46-msd2h                          2/2     Running     0                  34m
rook-ceph-mon-i-847cdb7bbf-4vsvs                          2/2     Running     0                  113m
rook-ceph-operator-75f86557fd-k84mt                       1/1     Running     0                  37m
rook-ceph-osd-0-6fd89755f4-wj5mq                          2/2     Running     3 (133m ago)       160d
rook-ceph-osd-1-6d6bfdc9b7-p8rvf                          2/2     Running     0                  32m
rook-ceph-osd-2-576dd7f99f-l22mc                          2/2     Running     5705 (3h47m ago)   161d
rook-ceph-osd-prepare-hd1.dev.local-4v566                 0/1     Completed   0                  32m
rook-ceph-osd-prepare-hd2.dev.local-7t8w8                 0/1     Completed   0                  32m
rook-ceph-osd-prepare-hd3.dev.local-bq7ks                 0/1     Completed   0                  32m
rook-ceph-purge-osd-b4j7l                                 0/1     Completed   0                  52m
rook-ceph-rgw-my-store-a-69b5c788dd-gml4g                 2/2     Running     18149 (3h4m ago)   70d
rook-ceph-tools-5d89d79b77-drsr5                          1/1     Running     0                  70d

# pod正常后，由于是新加osd节点，rookceph会自动平衡数据到新的节点中，这个过程要耐心等待（根据集群数据量和磁盘性能可能n小时）

  3. 备注

    ceph常用基础命令

    ceph status
ceph osd tree
ceph osd status
ceph osd df
ceph osd utilization

    参考：

    https://rook.io/docs/rook/v1.12/Storage-Configuration/Advanced/ceph-osd-mgmt/

【ceph】ceph-osd重建流程（手工起并且指定id为完成并行批量创建osd打下基础）
zerotoall的博客
07-05 909
【ceph】ceph-osd重建流程（手工起并且指定id为完成并行批量创建osd打下基础）
最全分布式存储ceph集群osd节点添加(2)，2024年最新Linux运维程序员
m0_60567881的博客
05-07 476
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
Rook 1.5.1 部署Ceph实操经验分享
Vic的博客
08-08 3034
一、Rook概述 1.1 Rook简介 Rook 是一个开源的cloud-native storage编排, 提供平台和框架；为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。目前主要专用于Cloud-Native环境的文件、块、对象存储服务。它实现了一个自我管理的、自我扩容的、自我修复的分布式存储服务。 Rook支持自动部署、启动、配置、分配（provisioning）、扩容/缩容、升级、迁移、灾难恢复、监控，以及资源管理。为了实现所有这些功能，Rook依赖底层的容器编排平台，例如
osd重做
bqco37679的博客
06-28 221
当我们的osd down掉怎么都启不动的时候，我们可以选择将osd重做。我这里就以osd.38为例子[root@ceph0 ~]#ceph osd treeID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY-1 5.99991 root default ...
擦除旧的ceph osd盘，重新做osd
sqlora的专栏
01-04 1340
擦除旧的ceph osd盘，重新做osd
openstack的osd，up不起来原因【重建osd日志盘软连接方法】
崔崇鑫的博客，你linux/云运维工作中的百科全书。
12-22 6416
文章目录说明故障发现单个osd up全过程查看ceph osd状态lsblk查看日志软连接查看软连接重建软连接up osd说明后续 说明 这是一份处理的过程记录文档 原因和处理方法 这种情况是整个物理机的osd无法启动【比如一个盘分了sdg1，sdg2…sda8，盘符软连接变的是sdg，比如sdg变成了sdh，所以整个服务器都无法启动】 掉的osd无法up的原因是物理机重启后导致日志盘符改变，修改日志软连接即可解决！ 下面中加了很多中文解释，方便你明白其中原理！ 故障发现 ceph osd tree |
OSD故障的深度定位
最新发布
strugglesquirrel的博客
08-12 1213
OSD发生故障后的定位，细节操作
Ceph添加OSD节点
chuan_day的专栏
04-17 8435
1、首先需要在新的节点上安装ceph软件,当然这个需要做一系列的准备工作 比如安装ssh-keygen,配置ntp等 在管理节点上执行： [root@ceph-admin ~]#su -dgb $ceph-deploy install --no-adjust-repos ceph5 2、获取osd的ID  这个操作是在管理节点上执行 [root@ceph-admin ~]#c
添加/删除osd节点步骤
NLP家的码奴小荷的博客
02-02 9511
扩大缩小ceph 集群：添加、删除osd节点node4
对象存储单节点ceph环境部署，附移除osd并格式化osd所在磁盘脚本
02-19
环境搭建步骤 1.安装 Centos7 镜像，1块系统盘(sda)，2块数据盘(sdb、sdc) 2.完成网络配置 vi /etc/sysconfig/network-script/ifcfg-ens33 3.运行 ceph_deploy.sh 脚本...ceph_rm_osd.sh用于移除osd并格式化osd所在磁盘
存储节点osd 踢出集群格式化后重新加入集群——osd新加入集群同理(1)
2401_83915450的博客
04-21 1037
这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香）《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
硬盘空间不足故障
weixin_33805557的博客
03-28 115
转载于:https://blog.51cto.com/1185153405/2092123
ceph 删除 osd 重新添加 osd down 重建
mixboot
11-03 1985
ceph 删除 osd 重新添加 osd down 重建
ceph 数据恢复和回填速度 重建osd 加快数据恢复
mixboot
11-03 2491
ceph 数据恢复和回填速度 重建osd 加快数据恢复
ceph（luminous）-Bluestore，把删除的osd重新加回集群
pyrl的博客
10-08 4209
记录一次osd已经从集群中踢出，但是osd盘中的数据没有清除，并且lv也没有删除时，如何把osd重新加入回集群. 首先创建一个2副本的集群，方便验证是否成功把osd加回集群中,然后写几个对象到新pool中. [root@test-1 osd]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 ...
kubernetes搭建rook-ceph
weixin_34198453的博客
11-21 570
简介 Rook官网：https://rook.io Rook是云原生计算基金会(CNCF)的孵化级项目. Rook是Kubernetes的开源云本地存储协调器，为各种存储解决方案提供平台，框架和支持，以便与云原生环境本地集成。 至于CEPH，官网在这：https://ceph.com/ ceph官方提供的helm部署，至今我没成功过，所以转向使用rook提供的方案 有道笔记原文：http:/...
存储节点osd 踢出集群格式化后重新加入集群——osd新加入集群同理
崔崇鑫的博客，你linux/云运维工作中的百科全书。
04-02 2473
文章目录说明osd信息记录重建osd1、故障存储节点上操作2、在任意mon节点上操作3、在osd所属节点上操作对日志盘进行分区【跳过，不要做】删除日志盘记录信息及恢复/etc/fstabCreated by anaconda on Wed Jan 10 20:18:28 2018Accessible filesystems, by reference, are maintained under '/dev/disk'See man pages fstab(5), findfs(8), mount(8) an
docker: Error response from daemon: No command specified. 解决
热门推荐
小末的博客
11-11 4万+
一般来说产生这个报错是因为启动的容器是被docker export出来的镜像，具体报错如下 [root@dockertest container]# docker run --name nginx-import-test -d -p 4000:80 nginx-import-test:1.0 docker: Error response from daemon: No command specified. See 'docker run --help'. 被docker export出来的镜像在启
User “system:serviceaccount:xxx:default“ cannot get resource “endpoints“ in API group ““问题解决
小末的博客
11-27 1万+
一、报错信息描述 错误信息： Message: Forbidden!Configured service account doesn't have access. Service account may have been revoked. endpoints "xxx" is forbidden: User "system:serviceaccount:xxx:default" cannot get resource "endpoints" in API group "" in the namesp
ceph删除osd节点
02-12
要删除 Ceph 中的 OSD 节点，请按照以下步骤操作： 1. 确认该 OSD 节点上没有正在进行的 I/O 操作。 2. 从集群中删除该 OSD 节点。这可以使用 Ceph 命令行工具 ceph osd out 或 ceph osd rm 来完成。 3. 删除该 OSD 节点上的所有数据。这可以使用 Ceph 命令行工具 ceph-volume lvm zap 来完成。 4. 如果该 OSD 节点是存储集群的主节点，请重新分配其存储数据。 注意：请仔细阅读 Ceph 文档并了解其删除 OSD 节点的具体操作过程，以避免可能造成的数据丢失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值