20、HDFS副本放置策略与基于深度强化学习的弹性可扩展发布/订阅系统

HDFS副本放置策略与基于深度强化学习的弹性可扩展发布/订阅系统

1. HDFS副本放置策略

在HDFS中，数据块会在集群的不同节点间进行复制和分布。选择合适的数据节点来维护块副本，对数据可靠性、可用性以及整体系统性能至关重要。HDFS支持五种可插拔的副本放置策略（RPPs），系统管理员可根据集群基础设施、客户端及其应用的使用需求来选择策略。

策略名称	特点
BlockPlacementPolicyDefault	所有HDFS发行版的标准选择，可减少机架间的写入流量，通常能在不影响数据可靠性或读取性能的情况下提高写入性能。
BlockPlacementPolicyRackFaultTolerant	可将副本放置到两个以上的机架，即使机架同时发生故障，也能确保数据具有最佳的可靠性和可用性。
AvailableSpaceBlockPlacementPolicy	扩展了默认策略，基于节点存储设备的已使用空间来选择数据节点，在异构集群中能取得有趣的效果。
BlockPlacementPolicyWithNodeGroup	引入了节点组级别，非常适合在虚拟化环境中运行的基础设施，可确保在节点组发生故障时，最多只丢失一个副本。