22、Ceph集群故障排除与灾难恢复指南

Ceph集群故障排除与灾难恢复指南

1. Ceph性能监控与诊断工具

当没有配置监控或者想要手动深入研究性能指标时，可以使用以下工具：
- iostat ：用于获取OSD节点中所有磁盘的性能和延迟的实时概述。使用命令 iostat -d 1 -x 运行，每秒刷新一次显示。如果大量磁盘在一段时间内显示高 % util ，可能磁盘已饱和。还可以查看 r_await 时间，判断读取请求是否比预期时间长。若高磁盘利用率导致性能缓慢且触发因素不会很快消失，添加额外磁盘是唯一解决方案。
- htop ：和标准的 top 工具类似，提供主机CPU和内存消耗的实时视图，且显示更直观，便于判断系统资源的整体使用情况，尤其适用于Ceph资源使用快速变化的情况。
- atop ：能捕获CPU、RAM、磁盘、网络的性能指标，并在一个视图中展示，方便全面了解系统资源使用情况。

对于Ceph内部的性能诊断，可使用 sudo ceph daemon osd.x dump_ops_in_flight 命令，该命令会转储指定OSD的所有当前操作，并分解操作每个步骤的各种时间。正常情况下操作无性能问题，若性能缓慢，可能会在两个步骤之间出现较大延迟，可针对此区域深入调查根本原因。

2. 极端性能问题排查

当集群性能极慢，几乎无法处理IO请求时，可能存在潜在故障或配置问题，Ceph状态显示会突出显示缓慢请求