hadoop 运行java 清洗数据报错Failed to set permissions of path: \tmp\...

最新推荐文章于 2020-04-16 23:33:43 发布

TURING.DT

最新推荐文章于 2020-04-16 23:33:43 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/levy_cui/article/details/51142756

本文介绍了一个常见的Hadoop TaskTracker启动时遇到的权限设置错误，并提供了一种解决方案，即通过修改Hadoop核心类FileUtil的方法并替换原有jar文件来修复此问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

清洗数据写好代码后，运行报错：

ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-****** to 0700

at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:719)
at org.apache.hadoop.mapred.TaskTracker.(TaskTracker.java:1436)
at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3694)

eclipse运行作业 Failed to set permissions of path: \tmp\hadoop-admin\mapred\staging\Administrator-1506477061\.staging to 0700：Windows环境下的Hadoop TaskTracker无法正常启动包括0.20.204、0.20.205、1.0.0版本

很多人采用修改FileUtil类 checkReturnValue方法代码，重新编译，替换原来的hadoop-core-1.0.0.jar文件，来解决。

private static void checkReturnValue(boolean rv, File p,FsPermission permission
) throws IOException {
   if (!rv) {
   throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
   }
}

我自己没有编译直接从网上下载个编译好的：
http://download.youkuaiyun.com/download/java2000_wl/4326323