hadoop 修改datanode balance带宽使用限制

anfuyi5792

于 2018-06-18 10:33:00 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/Springmoon-venn/p/9194444.html

当发现Hadoop集群中datanode存储占用不均时，进行数据平衡以优化资源利用。通过配置参数限制balance过程中的带宽使用，避免网络资源耗尽。执行balance命令并将其放在后台运行，确保集群稳定，同时理解HDFS的平衡策略，包括计算移动block、并发迁移数据等步骤。即使在运行中停止balance，也不会导致数据丢失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　前段时间，一个客户现场的Hadoop看起来很不正常，有的机器的存储占用达到95%，有的机器只有40%左右，刚好前任的负责人走了，这边还没有明确接班人的时候。

　　我负责的大数据计算部分，又要依赖Hadoop的基础平台，要是Hadoop死了，我的报表也跑不出来（专业背锅）。

　　做下balance，让各个节点的存储均衡一下。

　　1、首先需要配上这个参数：　　

<property>
    <name>dfs.datanode.balance.bandwidthPerSec</name> 
    <value>62914560</value> 
    <description>hdfs做balance的占用的网络带宽，建议配置网卡带宽的一半（62914560/1024/1024*8=480MBps）</description>
</property>

　　2、重启datanode　　

# 停止datanode
[hadoop@venn06 sbin]$ ./hadoop-daemon.sh stop datanode
s

最低0.47元/天解锁文章

200万优质内容无限畅学