11、基于深度强化学习的Ceph分布式存储系统数据平衡算法研究

基于深度强化学习的Ceph分布式存储系统数据平衡算法研究

1. CRUSH算法下PG分布问题

在Ceph分布式存储系统中，当使用传统的CRUSH算法进行映射时，PG（Placement Group）在OSD（Object Storage Device）上的分布会出现不平衡的情况。例如，在相同容量的OSD中，1024个PG通过CRUSH算法映射到OSD后，OSD中PG的最大数量为79，最小数量为43，相对理论值范围从 -29.9% 到 28.6%，OSD中PG数量的标准差为7.89。这种不平衡会进一步影响分布式存储系统的读写性能。

2. 基于TD3的数据平衡算法

为了解决Ceph存储系统中的数据平衡问题，提出了一种基于深度强化学习（DRL）的TD3_CRUSH算法。该算法将数据平衡问题转化为OSD权重优化问题。

2.1 Markov决策过程

要使用TD3算法解决Ceph分布式存储系统中的数据平衡问题，首先需要将问题转化为Markov决策过程，该过程由状态、动作和即时奖励三个基本元素描述。
- 状态设计 ：时间t的状态由第i个OSD当前时间的放置组数量$N_i$、数据完全均匀分布时每个对象存储设备的放置组数量$N_s$以及当前时间OSD的最大权重值$W_{max}$确定，表达式为$S_t = (N_i, N_s, W_{max})$。
- 动作设计 ：时间t的动作由第i个OSD当前时间的权重值变化确定，表达式为$a = (W_c^i)$。
- 即时奖励设计 ：评估指标是某一时刻某个对象存储设备中