ceph osd 磁盘损坏处理

最新推荐文章于 2025-11-25 07:00:00 发布

原创

最新推荐文章于 2025-11-25 07:00:00 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

记录学习中的各种问题以及自己的理解，供以后温故以及分享一下，错误之处，希望批评指正，以免误导更多人。如有侵权，请联系删除。谢谢！

文章标签：

#ceph #硬盘 #损坏 #处理 #osd

本文详细描述了在Ceph集群环境中，如何从mon节点删除故障的OSD，包括定位问题、清除osd数据、重建LV和PV，以及更换损坏硬盘并重建RAID0的过程。涉及的操作包括cephosd、ceph-volume等工具的使用。

环境：cenot7，ceph luminious，服务器为Proliant DL380 Gen9 安装了 hp ilo4

（一）从 ceph 删除该 osd

1、登陆 ceph mon 节点，查看坏掉的 osd

2、mon 上执行 out osd.x

ceph osd out osd.x

3、从 crush map 中删除 osd.x，防止它再接受数据

ceph osd crush remove osd.x

ceph auth del osd.x

ceph osd rm osd.x

[root@bakmtr01 ~]# ceph -s
  cluster:
    id:     0e38e7c6-a704-4132-b0e3-76b87f18d8fa
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum bakmtr01,bakmtr02,bakmtr03
    mgr: bakmtr03(active), standbys: bakmtr01, bakmtr02
    osd: 99 osds: 99 up, 99 in
    rgw: 3 daemons active
...

确认已经删除

ceph osd destroy osd.x --yes-i-really-mean-it

这些步骤相当于

ceph osd purge osd.x --yes-i-really-mean-it

4、osd 节点执行 umount /var/lib/ceph/osd/ceph-x

umount /var/lib/ceph/osd/ceph-x

5、查找 osd.x 对应的 device，lv、pv、vg

[root@bakcmp31 ~]# ceph-volume inventory /dev/sdt

====== Device report /dev/sdt ======

     available                 False
     rejected reasons          locked
     path                      /dev/sdt
     scheduler mode            deadline
     rotational                1
     vendor                    HP
     human readable size       1.64 TB
     sas address               
     removable