前言
当集群磁盘空间不足时,需要增加新硬盘到机器,此时新加入的磁盘空间基本为空,而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式,但如果磁盘空间大小本身不一致,通过该方法平衡后,磁盘空间不平衡情况依然存在。从 CDH 5.8.2 开始,Cloudera Manager提供了一个全面的存储容量管理解决方案,可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。
启用磁盘平衡器
在HDFS配置中搜索safety valve,在HDFS服务高级配置代码段(安全阀)创建名称为dfs.disk.balancer.enabled,值为true的键值对。

生成磁盘平衡器任务
假设目前有disk1和disk2两个磁盘,其占用率分别为:
# df -h
….
/var/disk1 5.8G 3.6G 1.9G 66% /mnt/disk1
/var/disk2 5.8G 13M 5.5G

本文介绍了如何在Hadoop集群中启用和使用磁盘平衡器,以解决磁盘空间不平衡的问题。通过配置HDFS参数,生成并执行磁盘平衡任务,然后查询任务状态,确保数据在集群内的磁盘间达到平衡。该过程涉及到HDFS的高级配置、磁盘平衡计划的生成和执行,以及任务完成后的验证步骤。
最低0.47元/天 解锁文章
3259

被折叠的 条评论
为什么被折叠?



