4、Hadoop-YARN集群搭建与管理全解析

Hadoop-YARN集群搭建与管理全解析

1. 单节点Hadoop-YARN集群搭建

在开始搭建单节点Hadoop-YARN集群之前，我们需要完成Hadoop文件的配置工作。配置完成后，接下来的步骤如下：
- 格式化NameNode ：使用 namenode format 命令对HDFS进行格式化。在执行该命令前，要确保 hdfs-site.xml 文件中指定的 dfs.namenode.name.dir 目录不存在，因为该目录会由 namenode format 命令创建。执行以下命令格式化NameNode：

hdfs namenode –format

执行上述命令后，需确保控制台没有异常信息，并且NameNode目录已成功创建。控制台输出中若出现以下内容，则表示NameNode目录已成功格式化：

INFO common.Storage: Storage directory /home/hduser/hadoop-2.5.1/hadoop_data/dfs/name has been successfully formatted.

• 启动Hadoop守护进程 ：使用 /home/hduser/hadoop-2.5.1/sbin/ 目录