CDH版HDFS Block Balancer方法

本文介绍如何使用HDFS Balancer调整Hadoop集群中各DataNode间的负载均衡,包括设定阈值来确定何时启动均衡操作及调整均衡过程中使用的带宽。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

命令:
sudo -u hdfs hdfs balancer

默认会检查每个datanode的磁盘使用情况,对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。


指定阀值,该阀值是datanode节点的磁盘使用占整个集群的百分比。
sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block

设置均衡的带宽, 默认设置:1048576(1 M/S)
参数含义:设置balance工具在运行中所能占用的带宽,设置的过大可能会造成mapred运行缓慢

sudo -u hdfs hdfs dfsadmin  -set Balancer Bandwidth   104857600 #表示设置带宽可使用100Mb








转载于:https://www.cnblogs.com/luguoyuanf/p/8d6929419f8e695c7b762d154a06048d.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值