CDH使用Disk Balancer平衡磁盘HDFS数据

前言

当集群磁盘空间不足时，需要增加新硬盘到机器，此时新加入的磁盘空间基本为空，而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式，但如果磁盘空间大小本身不一致，通过该方法平衡后，磁盘空间不平衡情况依然存在。从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容量管理解决方案，可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。

启用磁盘平衡器

在HDFS配置中搜索safety valve，在HDFS服务高级配置代码段（安全阀）创建名称为dfs.disk.balancer.enabled，值为true的键值对。

生成磁盘平衡器任务

假设目前有disk1和disk2两个磁盘，其占用率分别为：

# df -h
….
/var/disk1      5.8G  3.6G  1.9G  66% /mnt/disk1
/var/disk2      5.8G   13M  5.5G