windows下使用Eclipse运行MapReduce程序出错: Failed to set...

本文解决了一个常见的Windows环境下使用Eclipse运行MapReduce程序时出现的文件权限错误问题。通过修改Hadoop源码中FileUtil.java文件并重新编译特定类来避免权限设置失败的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

windows下使用Eclipse运行MapReduce程序出错: Failed to set...

 

在windows下用Eclipse运行MapReduce程序会报错:

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop     library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation:     PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set     permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-    519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

这个问题在网上很常见了, 搜下有很多, 原因和解决方案:

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

解决方法是将hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java里面方法checkReturnValue的代码注释掉.

再重新编译生成hadoop-x.x.x-core.jar.

关键问题是怎么重新编译? 于是网上找怎么编译Hadoop的方法, 本来一个很简单的问题弄了很久都没解决掉.

其实方法很简单, 不用重新编译Hadoop, 仅编译FileUtil.java即可.

新建一个MapReduce项目, 把hadoop-x.x.x/src/core/org/apache/hadoop/fs/FileUtil.java代码复制到src下(注意, 目录结构也需要), 按上面修改文件, 然后重新build下, 找到编译好的.class(两个), 用解压软件打开hadoop-x.x.x-core.jar, 把这两个class文件覆盖即可.

转载于:https://www.cnblogs.com/520yang/articles/3640145.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值