ceph 故障处理记录

最新推荐文章于 2023-08-02 15:33:55 发布

转载

最新推荐文章于 2023-08-02 15:33:55 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://segmentfault.com/a/1190000011474137

本文记录了在ceph环境中遇到的各种故障及处理方法，包括mon无法启动、OSD故障如'FAILED assert(0 == "unexpected error")'、unfound object问题及OSD superblock错误。针对mon故障，通过monmap工具进行修复；对于OSD问题，通过删除垃圾数据、标记unfound object和修复superblock来解决；MDS故障则涉及mds_wipe_ino_prealloc配置调整和重新构建mds二进制文件。

mon故障

mon无法启动

现象描述

因为某些原因，导致ceph-mon无法启动。ceph-mon 无法启动，原因可能是mointor level db 损坏，数据的丢失等。在OS 正常的情况下（osd运行正常），只是ceph-mon 无法启动。
这种情况下，剔除节点然后再加入，会导致数据的2次均衡，如果数据量大，耗时比较久。所以，可以通过重建ceph-mon的方式来实现

处理

1，在当前节点，停掉ceph-mon，导出monmap，然后通过monmaptool工具手动修改 monmap，修改完再导入到剩余的mon map里，最后通过ceph mon dump验证是否删除成功

ceph-mon -i {mon-id} --extract-monmap {map-path}
# for example,
ceph-mon -i a --extract-monmap /tmp/monmap

monmaptool {map-path} --rm {mon-id}
#for example
monmaptool /tmp/monmap --rm b

ceph-mon -i {mon-id} --inject-monmap {map-path}
# for example,
ceph-mon -i a --inject-monmap /tmp/monmap

2，删除成功后，开始重新添加，通过ceph-mon leader 导出现有的monmap

ceph -m 10.10.10.62 mon getmap -o monmap

3，在/data/目录生成ceph-mon 目录，mon-id 是5个字符串，

ceph-mon -i wsgws --mkfs --monmap monmap

4，将新的ceph-mon 加入monmap

ceph mon add wsgws 10.10.10.61:6789

4,重启 ezs3-agent 会将新的mon加入到 ceph.conf

OSD故障

FAILED assert(0 == "unexpected error")

现象描述

ceph 0.67版本，osd的日志中有如下报错

    -3> 2017-10-18 16:44:55.36

最低0.47元/天解锁文章

200万优质内容无限畅学