攻城狮在路上（陆）-- 配置hadoop本地windows运行MapReduce程序环境

本文的目的是实现在windows环境下实现模拟运行Map/Reduce程序。最终实现效果：MapReduce程序不会被提交到实际集群，但是运算结果会写入到集群的HDFS系统中。

一、环境说明：

    操作系统：win7

    eclipse：Version: Mars Release (4.5.0)

    hadoop：2.5.1

二、预备文档(仅是说明，以第三步为准)：

System.setProperty("HADOOP_USER_NAME", "root");

本地测试环境(windows)：

    在windows的hadoop目录bin目录有一个winutils.exe

    1、在windows下配置hadoop的环境变量

    2、拷贝debug工具(winutils.exe)到HADOOP_HOME/bin

    3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

    4、MR调用的代码需要改变：

        a、src不能有服务器的hadoop配置文件

        b、在调用是使用：

            Configuration config = new  Configuration();

            config.set("fs.defaultFS", "hdfs://node7:8020");

            config.set("yarn.resourcemanager.hostname", "node7");

三、基本步骤说明：

1、首先下载hadoop包，这里使用的是hadoop-2.5.1。解压后的路径是：E:\hadoop\hadoop-2.5.1

2、下载winutils.exe。将该软件拷贝到E:\hadoop\hadoop-2.5.1\bin下

3、在windows中配置HADOOP_HOME环境变量为E:\hadoop\hadoop-2.5.1，并加入到path环境变量中。

4、修改hadoop源码，在新建的Java project中拷贝下面路径的Java代码。路径保持和原来一致。

org/apache/hadoop/io/nativeio/NativeIO.java
org/apache/hadoop/mapred/YARNRunner.java

5、在java project的buildpath中设置，jdk不要使用eclipse自带的，修改为自己本地安装的Jdk。

6、其他限制条件：

    A、src中不能有服务器的hadoop配置文件。

    B、在调用时使用下面的代码：根据实际配置进行修改下面的参数

System.setProperty("HADOOP_USER_NAME", "root");

Configuration config = new  Configuration();

config.set("fs.defaultFS", "hdfs://node7:8020");

 config.set("yarn.resourcemanager.hostname", "node7");

7、运行代码：在eclipse中以DEBUG执行main方法即可。可以在Mapper和Reduce中打断点调试。

转载于:https://www.cnblogs.com/tq03/p/5101916.html