ceph数据recovery配置策略

最新推荐文章于 2025-09-28 11:24:53 发布

原创

最新推荐文章于 2025-09-28 11:24:53 发布 · 4.7k 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了在ceph集群中，针对不同场景的数据恢复配置策略。包括优先保证恢复带宽，优先保证客户端带宽以及在极端情况下完全保证客户端带宽的场景，详细说明了如何调整I/O优先级和带宽限制。

1、背景
在ceph集群中，如果ceph集群出现OSD的out或者in（增加、删除、上线、下线OSD等情况），最终都会导致ceph集群中的数据迁移及数据重建，数据迁移及重建会占用一部分网络带宽及磁盘带宽，此时就可能导致出现block（阻塞）现象。
2、场景

场景一：优先保证recovery带宽；
在对数据安全性要求比较高的场景下，为了保证数据副本的完整性以及快速恢复存储集群的健康，会优先保证数据恢复带宽，此时需要提升recovery的I/O优先级，降低client的I/O优先级，具体操作如下（在ceph任意一个节点或客户端运行即可）

提升recovery的I/O优先级（12.0.0版本默认recovery的I/O优先级为3）

ceph tell osd.* injectargs "--osd_recovery_op_priority 63"

降低client的I/O优先级（12.0.0版本默认recovery的I/O优先级为63）

ceph tell osd.* injectargs "--osd_client_op_priority 3"

待recovery完成，需要还原配置

ceph tell osd.* injectargs "--osd_recovery_op_priority 3"
ceph tell osd.* injectargs "--osd_client_op_priority 63"

场景二：优先保证client带宽；
在对数据安全性要求不是很高的场景下，为了降低对用户体验的影响，会优先对client的I/O优先级及带宽进行保证，此时需要降低recovery的I/O优先级及带宽，具体操作如下：

降低recovery的I/O优先级（12.0.0版本默认recovery的I/O优先级为3）

ceph tell osd.* injectargs "--osd_recovery_op_priority 1"