数据平衡

方案一:节点间数据平衡,可以精确指定节点,进行数据平衡

操作步骤:

1.挑选集群中负载较低的节点

查看集群监控,根据CPU,内存的利用率挑选平衡脚本运行的机器

2、列出磁盘利用低的节点IP,和新增节点IP,作为待平衡节点

vim /tmp/ip.txt \\写入IP,一行一个IP

3.在不影响业务的前提下设置集群带宽如:50M/s,默认1M/s

hdfs dfsadmin -setBalancerBandwidth 52428800

4.根据待平衡节点的磁盘利用率,设置目标平衡阈值

比如目前ip.txt有三个节点待平衡,期望这些节点的磁盘利用率相差在上下10%左右:

5.hdfs  balancer -threshold  10     -policy datanode   -include  -f  /tmp/ip.txt   -idleiterations  1

下面是命名的解释:

hdfs  balancer 
-threshold  10               \\集群平衡的条件,datanode间磁盘使用率相差阈值,区间选择:0~100
-policy datanode           &nb
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值