Eclipse中编译FileUtil.java

最新推荐文章于 2021-03-16 03:11:38 发布

原创最新推荐文章于 2021-03-16 03:11:38 发布 · 804 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #eclipse #hadoop

大数据开发之MapReduce 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了在Windows的Eclipse中运行Hadoop 1.x MapReduce程序时遇到的Java.io.IOException，该错误是由于文件权限问题导致。解决方法包括修改`hadoop-1.2.1srccoreorgapachehadoopfsFileUtil.java`的`checkReturnValue`方法，并详细阐述了在Eclipse中编译、替换`hadoop-core-1.2.1.jar`文件的步骤，确保使用与Linux环境兼容的JDK版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：在windows的eclipse中运行hadoop1.x MapReduce程序会报错：
Java.io.IOException: Failed to set permissions of path: \tmp\Hadoop-Administrator\mapred\staging\Administrator-519341271.staging to 0700

原因：这是Windows环境下的文件权限问题，在Linux下可以正常运行。

解决方法是：修改hadoop-1.2.1\src\core\org\apache\hadoop\fs\FileUtil.java里面的checkReturnValue方法。

修改源代码涉及到重编译，有些小伙伴可能觉得不会编译，或者编译了很久依然不行，下面我详细描述如何编译FileUtil.java。
步骤如下：
（1）在Eclipse中新建一个Map/Reduce Project。
file==>new==>other
这里写图片描述

（2）然后在src目录下新建一个包org.apache.hadoop.fs(注意严格按照这里的命名，不然后面执行M-R时会报错显示 notclassfound)，再把hadoop-1.2.1\src\core\org\apache\hadoop\fs\FileUtil.java文件拷贝到这个包下面。
这里写图片描述
（3）打开FileUtil.java，修改checkReturnValue方法，直接注释掉报错部分代码：

（4）文件修改完成后，会在工作空间下工程的bin\org\apache\hadoop\fs目录下有FileUtil$CygPathCommand.class、FileUtil.class这两个类文件（如果没有，可以在eclipse里面再手动编译下）
注意：jdk版本的问题：Linux的是1.6 所以Windows上编译也必须1.6，否则不行。
这里写图片描述

（5）用解压工具打开hadoop-core-1.2.1.jar包，将上面两个文件拷贝到hadoop-core-1.2.1.jar\org\apache\hadoop\fs目录下，将原来的文件覆盖掉即可。如果嫌自己编译麻烦，可以使用博主自己编译好的hadoop-core-1.2.1.jar，亲测可用。

（6）然后将修改过的hadoop-core-1.2.1.jar分别替换hadoop安装目录和Linux系统上hadoop集群（每个节点）目录下的hadoop-core-1.2.1.jar。

（7）重新启动hadoop集群，通过eclipse执行MapReduce程序。