Myeclipse配置hadoop开发及遇到的问题

最新推荐文章于 2019-08-07 19:16:24 发布

hanky19

最新推荐文章于 2019-08-07 19:16:24 发布

阅读量785

点赞数

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/hanky19/article/details/22693203

版权

hadoop 专栏收录该内容

3 篇文章

订阅专栏

1. 安装Hadoop开发插件

将Hadoop安装包contrib/目录下插件hadoop-eclipse-plugin-1.2.1.jar，拷贝到Myeclipse根目录下/dropins目录下。

2. 启动Myeclipse，打开Perspectives:

【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

3. 打开一个View

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

4. 添加hadoop location

5. 配置hadoop location：

上边所有的配置都需要跟服务器上的hadoop配置相同，点击finish就可以看到连接上了

6. 新建Map /Reduce Project；

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】

->【Project name: WordCount】->【Configure Hadoop install directory...】

->【Hadoop installation directory: D:\cygwin\home\lsq\hadoop-1.2.1】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

7. 新建WordCount类

在下列目录中找到WordCount.java，复制其中的内容到此类中

……\hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java

8. 上传模拟数据文件夹

为了运行程序，需要一个输入的文件夹和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。

在hadoop安装目录下，新建文件夹input,在input下新建两个文件file1、file2，这两个文件内容分别如下：

Hello World Bye World

Hello Hadoop Bye Hadoop

9. Cd到hadoop目录下，执行hadoop dfs –put input in

10. 配置运行参数

①在新建的项目WordCount，点击WordCount.java，右键-->Run As-->Run Configurations

②在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount

③配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如：

配置完成后，点击run，运行程序。等运行结束后，可以用命令查看是否生成了output目录，及查看目录下的文件内容

错误1：

13/11/04 21:33:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/11/04 21:33:34 ERROR security.UserGroupInformation: PriviledgedActionException as:grid cause:java.io.IOException: Failed to set permissions of path: \home\grid\hadoop-1.2.1\tmp\mapred\staging\grid1670184777\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \home\grid\hadoop-1.2.1\tmp\mapred\staging\grid1670184777\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:514)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:349)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:193)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:126)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:942)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)

原因：出现不能在HDFS里面创建文件.windows下权限问题

解决办法：E:\{prefix}\hadoop-1.2.1\src\core\org\apache\hadoop\fs
中的FileUtil.java,checkReturnValue里面内容注释掉。重新编译打包hadoop-core-1.2.1.jar，替换掉hadoop-1.2.1根目录下的hadoop-core-1.2.1.jar即可。

错误2：

14/03/22 22:45:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

14/03/22 22:45:59 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

14/03/22 22:45:59 INFO input.FileInputFormat: Total input paths to process : 2

14/03/22 22:45:59 WARN snappy.LoadSnappy: Snappy native library not loaded

14/03/22 22:46:00 INFO mapred.JobClient: Running job: job_local1933678557_0001

14/03/22 22:46:00 WARN mapred.LocalJobRunner: job_local1933678557_0001

org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

。。。

原因2：本地用户Administrator（本机windows用户）想要远程操作hadoop系统，没有权限引起的。

解决办法：(1)如果是测试环境，可以取消Hadoop hdfs的用户检查权限。到服务器上修改hadoop的配置文件：conf/hdfs-core.xml，找到dfs.permissions的配置项，将value值改为false；

<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>