Hadoop学习日记（八）——mr程序的本地运行模式

Hadoop学习日记（八）

2019.03.08

主题：MapReduce程序的本地运行模式

学习过程主要参考段海涛Hadoop之p25

相比日记（七），本地（Windows系统）运行只需将代码中的输入输出文件路径修改为Windows本地路径即可。（需要注意的是也可以程序在本地运行，但是数据从hdfs中取）

在这部分的实践中，遇到了一些问题，下面重点讲这些内容。

问题一、cannot initialize cluster please check your configuration for mapreduce

解决办法，添加依赖jar包：hadoop-mapreduce-client-common-3.1.1

问题二、java.lang.NoClassDefFoundError:org/apache/hadoop/yarn/exceptions/YarnException

如图：

解决办法：

看到NoClassDefFoundError以及ClassNotFoundException可以推测出缺少一些yarn相关的jar包

把yarn文件夹下的包以及yarn下的lib目录下的包导入即可。

需要注意的是，这一切的前提是已经在windows本地安装了hadoop，也就是设置了HADOOP_HOME以及添加HADOOP_HOME下的bin到系统变量Path里。

 

本地模式用于程序调试很方便，但存在的问题是集群运行的结果和本地运行结果会有不同。