19、HDFS副本放置策略的比较实验研究

HDFS副本放置策略的比较实验研究

在大数据存储与处理领域，HDFS（Hadoop分布式文件系统）的副本放置策略（RPP）对于数据的可靠性、可用性以及系统性能至关重要。集群管理员需要根据环境组成以及应用和客户端的需求，选择合适的RPP应用于文件系统。

1. 相关工作

此前有多项研究围绕HDFS的数据复制机制和副本分布策略展开：
- 有研究对不同的数据块写入方法进行了理论分析，包括默认管道、并行广播和并行服务器 - 工作者等方法，并阐述了它们的技术规格、特点、专业化应用场景。
- 针对异构集群，提出了一种改进的副本放置策略，该策略在满足标准RPP选择要求的同时，努力确保副本的均衡分布。
- 对复制因子进行了研究，通过自适应复制系统增加访问频率高的数据的复制因子，优化了数据的整体可用性并减少了作业执行时间。
- 提出了一种重新复制方案，从性能和可靠性角度出发，在重新复制过程中平衡节点间的工作负载，减少重新复制过程的影响和执行时间。
- 还对数据重新分布进行了研究，自动化了HDFS平衡器的决策过程，并修改了平衡策略，使其考虑可靠性和可用性属性；同时提出了一种定制的平衡策略，通过副本平衡提高数据的可用性。

2. 实验设置

本次实验在GRID’5000平台上进行，使用Apache Hadoop（版本2.9.2），在Rennes站点的10个节点上进行全分布式操作。为提供异构环境，HDFS实例设置在两个集群中：
- 集群C1（paravance） ：包含5个节点，分布在两个机架R1和R2上。R1有3个节点（DN01、DN02、DN03），R2有2个节点（DN04、DN05）