Win7 eclipse Hadoop Failed to set permissions of path

hadoop1.0.2在windows远程调试linux的程序时,报错:

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at com.hadoop.learn.test.WordCountTest.main(WordCountTest.java:85)

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

解决方法是,修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)
......
  private static void checkReturnValue(boolean rv, File p,
                                       FsPermission permission
                                       ) throws IOException {
    /**
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
**/
  }
......


重新编译打包hadoop-core-1.0.2.jar,替换掉hadoop-1.0.2根目录下的hadoop-core-1.0.2.jar即可。

这里提供一份修改版的hadoop-core-1.0.2-modified.jar文件,替换原hadoop-core-1.0.2.jar即可。

替换之后,刷新项目,设置好正确的jar包依赖,现在再运行WordCountTest,即可。


### Hadoop 设置路径权限失败问题解决方案 当在 Windows 上运行 Hadoop 程序时,可能会遇到 `java.io.IOException: Failed to set permissions of path` 的错误。此问题是由于 Hadoop 尝试更改文件系统的权限为 Unix 风格的模式 (如 0700),而 Windows 文件系统不支持这种操作引起的。 #### 修改源码方法 可以通过修改 Hadoop 源代码来解决该问题。具体来说,在 `FileUtil.java` 中找到抛出异常的相关逻辑,并将其更改为记录警告日志而非直接抛出异常[^1]: ```java if (!rv) { LOG.warn("Failed to set permissions of path: " + p + " to " + String.format("%04o", permission.toShort())); } ``` 完成上述修改后,需重新编译并打包 Hadoop 核心库以生成新的 JAR 文件[^2]。将新生成的 `hadoop-core-1.0.2.jar` 替换原有版本即可解决问题。 #### 使用预构建的修复包 如果不想手动修改和编译源代码,则可以直接下载已修正过的 `hadoop-core-1.0.2-modified.jar` 文件[^4],并将它替换到 Hadoop 安装目录中的对应位置。 #### 抛异常的原因分析 Windows 平台上的文件系统并不完全兼容 Linux/Unix 下基于八进制表示法定义访问控制的方式。因此,执行涉及此类跨平台功能的操作时常会出现类似的错误提示信息[^3]。 以下是原始抛异常的核心函数实现部分展示[^5]: ```java private static void checkReturnValue(boolean rv, File p, FsPermission permission) throws IOException { if (!rv) { throw new IOException("Failed to set permissions of path: " + p + " to " + String.format("%04o", permission.toShort())); } } ``` 通过以上两种方式之一可以有效规避因尝试设置无法达成之权限而导致的应用崩溃情况发生。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值