ceph OSD 故障记录

最新推荐文章于 2025-01-05 22:59:42 发布

原创

最新推荐文章于 2025-01-05 22:59:42 发布 · 6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#ceph #故障

2015年11月5日晚上，由于hh-yun-ceph-cinder016-128056.vcloud.com的硬盘故障，导致Ceph集群报警。尽管OSD进程未响应，但Ceph集群自动执行数据迁移，未造成数据丢失。故障处理包括硬盘更换及数据恢复，Ceph集群成功重新计算PG路径，确认无数据丢失，不影响使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

故障发生时间: 2015-11-05 20.30

故障解决时间: 2015-11-05 20:52:33

故障现象: 由于 hh-yun-ceph-cinder016-128056.vclound.com 硬盘故障, 导致 ceph 集群产生异常报警

故障处理: ceph 集群自动进行数据迁移, 没有产生数据丢失, 待 IDC 同事更换硬盘后再重新迁移数据

日志分析如下

1 CEPH 集群再执行深度清理, 清理过程中, 发现 hh-yun-ceph-cinder016-128056.vclound.com ( 10.199.128.56 ) 中的硬盘故障, 导致 OSD 进程没有回应, 然后出现故障

2015-11-05 20:30:26.084840 mon.0 240.30.128.55:6789/0 7291068 : cluster [INF] pgmap v7319699: 20544 pgs: 20542 active+clean, 1 active+clean+scrubbing, 1 active+clean+inconsistent; 13357 GB data, 40048 GB used, 215 TB / 254 TB avail; 142 kB/s rd, 880 kB/s wr, 232 op/s

2015-11-05 20:30:27.034297 mon.0 240.30.128.55:6789/0 7291071 : <span style="color:#ff0000;">cluster [INF] osd.14 240.30.128.56:6820/137420 failed (3 reports from 3 peers after 20.000246 >= grace 20.000000)</span>

2015-11-05 20:30:27.087421 mon.0 240.30.128.55:6789/0 7291072 : cluster [INF] pgmap v7319700: 20544 pgs: 20542 active+clean, 1 active+clean+scrubbing, 1 active+clean+inconsistent; 13357 GB data, 40048 GB used, 215 TB / 254 TB avail; 1001 kB/s rd, 1072 kB/s wr, 256 op/s

2015-11-05 20:30:27.142073 mon.0 240.30.128.55:678