基于Eclipse的Hadoop应用开发环境配置

最新推荐文章于 2020-05-31 22:53:39 发布

liou825

最新推荐文章于 2020-05-31 22:53:39 发布

阅读量2.3k

点赞数

分类专栏： hadoop

hadoop 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了如何在Eclipse环境下配置Hadoop应用开发环境，包括启动守护进程、安装插件、配置环境变量、上传模拟数据、运行Map/Reduce程序等步骤，并针对Windows下遇到的问题提供了相应的解决方法。

http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

基于Eclipse的Hadoop应用开发环境配置（加上自己修改的）

我的开发环境：

操作系统centos5.5 一个namenode 两个datanode

Hadoop版本：hadoop-0.20.203.0

Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷)

第一步：先启动hadoop守护进程

具体参看：http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html

第二步：在eclipse上安装hadoop插件

1.复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar 到 eclipse安装目录/plugins/ 下。注意：官方提供插件包JAR不够，请将官方原码下的src/contrib/eclipse-plugin

然后，修改该包META-INF目录下的MANIFEST.MF，将classpath修改为一下内容：

Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

2.重启eclipse，配置hadoop installation directory。
如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。

3.配置Map/Reduce Locations。
在Window-->Show View中打开Map/Reduce Locations。
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name，如Hadoop，还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

Map/Reduce Master

192.168.1.101
9001

DFS Master

192.168.1.101
9000

配置完后退出。点击DFS Locations-->Hadoop如果能显示文件夹(2)说明配置正确，如果显示"拒绝连接"，请检查你的配置。

第三步：新建项目。
File-->New-->Other-->Map/Reduce Project
项目名可以随便取，如WordCount。
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java到刚才新建的项目下面。

第四步：上传模拟数据文件夹。
为了运行程序，我们需要一个输入的文件夹，和输出的文件夹。
在本地新建word.txt

java c++ python c
java c++ javascript 
helloworld hadoop
mapreduce java hadoop hbase

通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount

通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt

第五步：运行项目

1.在新建的项目Hadoop，点击WordCount.java，右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount
3.配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如：

hdfs://centos1:9000/tmp/wordcount/word.txt   hdfs://centos1:9000/tmp/wordcount/out

4、如果运行时报java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)

-Xms512m -Xmx1024m -XX:MaxPermSize=256m

5.点击Run，运行程序。

点击Run，运行程序，过段时间将运行完成，等运行结束后，查看运行结果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果，发现有两个文件夹和一个文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。

c    1
c++    2
hadoop    2
hbase    1
helloworld    1
java    3
javascript    1
mapreduce    1
python    1

   以上过程在liunx下是一般是没问题的。我在window下用eclipse开发遇到两个问题。
  

    
    permissions of path   .....staging to 0700 
  

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。

解决方法是，修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）：

1 2 3 4 5 6 7 8 9 10 11 12 13

       
        ......
       
       
          private static void checkReturnValue(boolean rv, File p, 
       
       
                                               FsPermission permission
       
       
                                               ) throws IOException {
       
       
            /**
       
       
        	if (!rv) {
       
       
              throw new IOException("Failed to set permissions of path: " + p + 
       
       
                                    " to " + 
       
       
                                    String.format("%04o", permission.toShort()));
       
       
            }
       
       
        	**/
       
       
          }
       
       
        ......

view raw FileUtil.java This Gist brought to you by GitHub.

重新编译打包hadoop-core-1.1.2.jar，替换掉hadoop-1.1.2根目录下的hadoop-core-1.1.2.jar即可。

 Permission denied描述：在window下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：
11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003
 11/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%
 11/10/28 16:06:05 INFO mapred.JobClient: Task Id : attempt_201110281103_0003_m_000002_0, Status : FAILED
 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
 at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
 at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
 
解决方法1：
　　到服务器上修改hadoop的配置文件：conf/hdfs-core.xml(有些版本在hdfs-default.xml下), 找到 dfs.permissions 的配置项 , 将value值改为 false
<property>
 <name>dfs.permissions</name>
 <value>false</value>
 <description>
 If "true", enable permission checking in HDFS.
 If "false", permission checking is turned off,
 but all other behavior is unchanged.
 Switching from one parameter value to the other does not change the mode,
 owner or group of files or directories.
 </description>
 </property>

 
另外的解决方法是将windows用户修改成hadoop一样。选择"本地用户和组"，展开"用户"，找到系统管理员"Administrator"，修改其为"hadoop"，操作结果如下图：
  
 
 因为Eclipse使用hadoop插件提交作业时，会默认以 windows用户身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/hadoop ,   由于 window用户对hadoop目录并没有写入权限，所以导致异常的发生。
 第三种解决方法为：放开 hadoop 目录的权限 ， 命令如下 ：$ hadoop fs -chmod 777 /user/hadoop  
  

 