前段时间,一个客户现场的Hadoop看起来很不正常,有的机器的存储占用达到95%,有的机器只有40%左右,刚好前任的负责人走了,这边还没有明确接班人的时候。
我负责的大数据计算部分,又要依赖Hadoop的基础平台,要是Hadoop死了,我的报表也跑不出来(专业背锅)。
做下balance,让各个节点的存储均衡一下。
1、首先需要配上这个参数:
<property>
<name>dfs.datanode.balance.bandwidthPerSec</name>
<value>62914560</value>
<description>hdfs做balance的占用的网络带宽,建议配置网卡带宽的一半(62914560/1024/1024*8=480MBps)</description>
</property>
2、重启datanode
# 停止datanode [hadoop@venn06 sbin]$ ./hadoop-daemon.sh stop datanode s

当发现Hadoop集群中datanode存储占用不均时,进行数据平衡以优化资源利用。通过配置参数限制balance过程中的带宽使用,避免网络资源耗尽。执行balance命令并将其放在后台运行,确保集群稳定,同时理解HDFS的平衡策略,包括计算移动block、并发迁移数据等步骤。即使在运行中停止balance,也不会导致数据丢失。
最低0.47元/天 解锁文章
785

被折叠的 条评论
为什么被折叠?



