文章目录
HDFS-多目录配置
NameNode多目录配置
NameNode的本地目录可以配置多个,且每个目录存放内容相同,增加了可靠性

1.修改hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>
注意: 因为每台服务器节点的磁盘情况不同, 所以这个配置配完之后,可以选择不分发
hadoop.tmp.dir的配置文件在 /opt/module/hadoop-3.1.3/etc/hadoop下的core-default.xml(核心配置文件)

去/opt/module/hadoop-3.1.3/data/dfs目录查看修改前的目录结构

修改 /opt/module/hadoop-3.1.3/etc/hadoop<

本文详细介绍了Hadoop HDFS的NameNode和DataNode的多目录配置,增强了系统的可靠性和数据分布。NameNode配置了多个本地目录以存放相同内容,而DataNode的多个目录则用于存储不同数据。此外,还讲解了Hadoop3.x新特性——单节点内磁盘间的数据均衡,包括如何生成、执行和监控均衡计划,以及如何取消均衡任务。
最低0.47元/天 解锁文章
630





