【自记】无法找到 MapReduce 作业的主类 MRAppMaster ，导致任务无法正常启动。解决方案

问题描述

在运行 Hadoop MapReduce 任务时，遇到了以下错误：

```
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
```

该错误表明 Hadoop 无法找到 MapReduce 作业的主类`MRAppMaster`，导致任务无法正常启动。

问题分析

• 错误原因：

• `org.apache.hadoop.mapreduce.v2.app.MRAppMaster`是 MapReduce 作业的主类，用于启动和管理作业的运行。如果 Hadoop 无法找到这个类，说明 Java 的类加载器无法在指定的类路径中找到该类。

• 这通常是因为 Hadoop 的类路径配置不正确，导致 JVM 无法加载所需的类。

• 可能的原因：

• `yarn.application.classpath`配置不正确：Hadoop 的`yarn-site.xml`文件中没有正确配置`yarn.application.classpath`，导致 Hadoop 无法找到所需的 JAR 文件。

• 环境变量未正确设置：`HADOOP_HOME`环境变量未正确设置，或者相关的环境变量没有生效。

• Hadoop 的 JAR 文件缺失或损坏：某些必要的 JAR 文件可能缺失或损坏，导致类加载失败。

解决方案

根据上述分析，以下是解决该问题的详细步骤：

步骤 1：检查 Hadoop 的类路径

• 运行`hadoop classpath`命令：

```
hadoop classpath
```

• 这个命令会输出 Hadoop 的所有相关类路径，包括 Hadoop 核心库、YARN、MapReduce 和 HDFS 等组件的库文件路径。

• 将输出结果复制下来，稍后需要将其添加到`yarn-site.xml`文件中。

步骤 2：编辑`yarn-site.xml`文件

• 打开文件：

```
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
```

• 通常位于 Hadoop 的配置目录中，路径为`$HADOOP_HOME/etc/hadoop/yarn-site.xml`。
• 添加`yarn.application.classpath`配置：

• 在`<configuration>`标签内添加以下配置：

```
     <property>
         <name>yarn.application.classpath</name>
         <value>将hadoop classpath命令输出的内容全部复制到这里</value>
     </property>

```

• 示例：

```
     <property>
         <name>yarn.application.classpath</name>
         <value>/usr/local/hadoop/hadoop-3.1.3/etc/hadoop:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/common/lib/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/common/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/hdfs:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/hdfs/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/mapreduce/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/yarn:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/yarn/lib/*:/usr/local/hadoop/hadoop-3.1.3/share/hadoop/yarn/*</value>
     </property>
```

步骤 3：重启 Hadoop 服务

• 重启 YARN 服务：

```bash
   $HADOOP_HOME/sbin/stop-yarn.sh
   $HADOOP_HOME/sbin/start-yarn.sh
   ```

• 修改配置文件后，需要重启 YARN 服务以使更改生效。

步骤 4：验证配置

• 重新运行 MapReduce 任务：

```
   yarn jar YarnDemo.jar com.atguigu.yarn.WordCountDriver wordcount /testinput /testoutput
```

• 如果配置正确，任务应该能够正常运行。

其他建议

• 检查环境变量：

• 确保`HADOOP_HOME`环境变量已正确设置，并且在所有节点上生效。可以在`/etc/profile`或`.bashrc`文件中设置：

```bash
     export HADOOP_HOME=/path/to/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     ```

• 然后运行以下命令使环境变量生效：

```bash
     source /etc/profile
     ```

• 检查 Hadoop 安装目录：

• 确保 Hadoop 安装目录下的 JAR 文件完整且未损坏。特别是`share/hadoop/mapreduce/`目录下的 JAR 文件，这些文件包含`MRAppMaster`类。

• 检查日志文件：

• 如果问题仍然存在，查看 YARN 和 HDFS 的日志文件，获取更多错误信息。日志文件通常位于`$HADOOP_HOME/logs`目录下。

总结
通过以下步骤，可以解决“Error:Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster”问题：

• 检查 Hadoop 的类路径，运行`hadoop classpath`命令。

• 编辑`yarn-site.xml`文件，添加`yarn.application.classpath`配置。

• 重启 YARN 服务。

• 重新运行 MapReduce 任务。