hadoop SecondaryNameNode 配置

最新推荐文章于 2023-05-22 15:01:07 发布

最新推荐文章于 2023-05-22 15:01:07 发布 · 547 阅读

文章标签：

#大数据 #ui

hadoop 专栏收录该内容

47 篇文章

订阅专栏

本文介绍了如何解决Hadoop集群中SecondaryNameNode配置不当导致的问题。通过调整masters文件及hdfs-site.xml配置，可以有效避免因SecondaryNameNode配置错误而导致的集群故障。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop SecondaryNameNode 配置

昨天遇到一个问题，hadoop集群跑着的时候突然间停止了 namenode 也没有down掉,也没有任何错误.jvm直接跳出了,我怀疑是内存的问题 suo所以想把SecondaryNameNode 移到其他的机器上去、

下面这两句话是亮点：

将所有想要运行secondarynamenode进程的机器写到masters文件中，一行一台。
修改在masters文件中配置了的机器上的conf/hadoop-site.xml文件，加上如下选项：

注意：只在想要成为SecondaryNameNode 的机器上配置 dfs.http.address 即可.不要所有的机器都配置,那样会报错

master：一般的安装手册都是说写上namenode机器的IP或是名称。这里要说明一下，这个master不决定哪个是namenode，而决定的是secondarynamenode（决定谁是namenode的关键配置是core-site.xml中的fs.default.name这个参数）。所以，这里直接写上你的datanode的IP或机器名称就可以了。一行一个。
hdfs-site.xml：这个配置文件要改1个参数：
0.0.0.0改为你的namenode的IP地址。
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>

详情摘自：http://a280606790.iteye.com/blog/870123