生产调优3 HDFS-多目录配置

本文详细介绍了Hadoop HDFS的NameNode和DataNode的多目录配置,增强了系统的可靠性和数据分布。NameNode配置了多个本地目录以存放相同内容,而DataNode的多个目录则用于存储不同数据。此外,还讲解了Hadoop3.x新特性——单节点内磁盘间的数据均衡,包括如何生成、执行和监控均衡计划,以及如何取消均衡任务。

HDFS-多目录配置

NameNode多目录配置

NameNode的本地目录可以配置多个,且每个目录存放内容相同,增加了可靠性

image

1.修改hdfs-site.xml

<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

注意: 因为每台服务器节点的磁盘情况不同, 所以这个配置配完之后,可以选择不分发

hadoop.tmp.dir的配置文件在 /opt/module/hadoop-3.1.3/etc/hadoop下的core-default.xml(核心配置文件)

image

/opt/module/hadoop-3.1.3/data/dfs目录查看修改前的目录结构

image

修改 /opt/module/hadoop-3.1.3/etc/hadoop<

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值