eclipse运行mapreduce报错Permission denied

最新推荐文章于 2022-08-25 20:22:25 发布
原创 最新推荐文章于 2022-08-25 20:22:25 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #eclipse

今天用在eclipse-hadoop平台上运行map reduce(word count)出错了，错误信息为

org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException: Permission denied:user=root, access=WRITE, inode="input":hadoop:supergroup:rwxr-xr-x

思考了一下应该是我用root（非hadoop安装用户）用户登录了eclipse,运行mapreduce配置hadoop location时也用的root用户而导致的错误，一定要注意用户问题

解决办法：用hadoop用户重新启动eclipse,即在hadoop身份下，在命令行启动eclipse,如果出错请见我的另一篇博客http://blog.youkuaiyun.com/unflynaomi/article/details/38340383


启动后重新配置hadoop location（$ hadoop fs -chmod 777 /user/local/hadoop  放开文件夹权限没有用的不要尝试了）

Eclipse开发mapreduce程序环境搭建
feinifi的博客
08-30 4146
Eclipse作为一个常用的java IDE，其使用程度虽然比不上idea那么强大，但是对于习惯使用eclipse开发的人来说，也不失为一个可以选择的IDE。对于喜欢eclipse开发的人来说，就是想让他更加的智能化，更加的友好，比如开发mapreduce程序，我们可以利用hadoop-eclipse-plugin这个插件让eclipse能够可视化查看hdfs上的文件系统，并且可以创建ma...
windows环境eclipse操作hadoop常见错误：Permission denied: user=haibozhang, access=WRITE, inode='...'
haibo2016的博客
10-15 1582
在eclipse中配置好hadoop插件后，编写wordCount程序如下 package hadoop01; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hado
MapReduce发生Permission denied: user=zhen, access=WRITE错误
11-16 313
一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无 法满足supergroup的755权限要求，所以会出现错误。如下...
win eclipse 执行mapreduce 提示AccessControlException: Permission denied的解决办法
long1657的专栏
09-30 1410
win eclipse 执行mapreduce，提示如下错误： org.apache.hadoop.security.AccessControlException: Permission denied: user=1010, access=WRITE, inode="/1010":root:supergroup:drwxr-xr-x 问题 原因：没有1010这个用户的权限 解决方案：在had
Hadoop mapreduce 本地调试报错 .AccessControlException: Permission denied: user=XX
从现在起
09-28 721
Hadoop mapreduce 本地调试，连接Hadoop服务器，看到hadoop log 返回： 2017-09-28 02:43:19,535 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.mkd
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
风行天下
08-23 8467
八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 八月 23, 2014 9:12:31 下午 or
在eclipse上搭建mapreduce开发环境及运行wordcount
热门推荐
Mr.Cai
02-08 1万+
1.先说明我的实验环境： win7, eclipse版本是Neon.2 Release (4.6.2), hadoop2.7.3部署在1master，3slave的集群上 2.需要下载winutils.exe和hadoop-eclipse-plugin-2.7.3.jar,下载地址是点击打开链接 3.找到eclipse根目录下的plugins目录，将下载好的hadoop-eclipse-
CentOS下用Eclipse和命令行方式编译运行WordCount程序
qq_41630866的博客
06-08 2524
安装Eclipse 一、下载Eclipse软件 二、安装Eclipse软件 三、安装Eclipse插件Hadoop-Eclipse-Plugin 四、配置Hadoop-Eclipse-Plugin WordCount程序 一、在eclipse中写个WordCount吧 1.建立项目 2.在项目里面建立WordCount类 3.写入代码 4.通过 Eclipse 运行 Map...
Hadoop/Spark Windows-Eclipse下调试Linux集群下运行时一些常见的错误
Forest
11-08 718
1.无法在HDFS中创建目录，上传文件等 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":root:supergroup:drwxr-xr-x at org.apache.hadoo...
MapReduce写HFile：Permission denied: user=xxx, access=EXECUTE
ITwangnengjie的博客
11-20 469
错误日志： Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.JavaMain], main() threw exception, org.apache.hadoop.security.AccessControlException: Permission denied: user=wang.nengjie,...
windows上远程运行MapReduce任务遇到的问题
lessonnair的专栏
05-15 606
错误描述：
hadoop问题解决 Permission denied: user=root, access=READ_EXECUTE, inode=“
王小二的博客
08-25 1467
hadoop问题解决 Permission denied: user=root, access=READ_EXECUTE, inode="
Hadoop 调试第一个mapreduce程序过程详细记录总结以及权限问题 Permission denied: user=dr.who
qq_36864672的博客
10-23 6824
1，程序代码如下： package wc; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.h
运行hadoop MapReduce程序常见错误及解决方法整理
u011762604的博客
06-13 6146
一、Permission denied 1、Win系统下用Eclipse中运行远程Hadoop MapReduce程序出现报错 [javascript] view plain copy org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.
IDEA 运行MapReduce程序权限不足解决办法
大数据流浪法师的学习笔记与分享
03-21 1040
问题描述 IDEA 运行MapReduce程序权限不足 解决办法 1，把根目录权限设为777 2，在hadoop配置文件core-site.xml中设置hdfs.permission为false
hadoop中mapreduce本地运行是权限问题
Deltao_Taic的博客
09-03 962
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Nati...
idea工具里运行MapReduce报权限问题的错误
破碎琉璃为哪般
12-08 1357
问题描述：程序在eclipse正常运行，在idea里不能运行 报错信息 java.lang.NoSuchFieldError: workaroundNonThreadSafePasswdCalls at org.apache.hadoop.io.nativeio.NativeIO.initNative(Native Method) at org.apache.hadoop.io.nativei...
mac电脑本地运行MapReduce, Permission denied
程序员小陶的大数据分享
11-09 706
在本地运行mapreduce程序的时候，会默认用本地系统的用户去将作业写入hdfs文件系统（在服务器上）中， 由于此用户对hadoop目录并没有写入权限，所以导致异常的发生。 解决方案： 方案1：修改你要操作的目录权限 hadoop fs -chmod -R 777 某目录 方案2：直接修改配置文件 直接在hdfs的配置文件中，将dfs.permissions修改为False ...
ioutils.copy报错Permission denied
最新发布
04-22
### ioutils.copy Permission denied 错误解决方案 `ioutils.copy` 报错 `Permission denied` 的问题通常与文件系统的权限设置有关。以下是可能的原因以及对应的解决方案： #### 1. 文件或目录权限不足 如果目标路径或源路径的文件/目录权限不足以允许当前用户执行读取或写入操作，则会出现此错误。 - **解决方法**: 使用 Linux 命令修改文件或目录的权限。 ```bash hadoop fs -chmod 777 /path/to/directory/or/file ``` 或者更安全的方式是仅赋予必要的权限给特定用户组： ```bash hadoop fs -chmod 755 /path/to/directory/or/file ``` - 如果涉及的是本地文件系统而不是 HDFS，可以使用标准的 Unix/Linux 权限管理工具： ```bash chmod 777 /local/path/to/directory/or/file chown user:group /local/path/to/directory/or/file ``` #### 2. 用户身份不匹配 运行程序的用户可能没有足够的权限访问某些资源。这可能是由于不同的用户账户之间的权限隔离引起的。 - **解决方法**: 确保以正确的用户身份运行 MapReduce 作业或其他相关任务。可以通过以下方式验证并切换到合适的用户： ```bash whoami su - hdfs_user ``` #### 3. 配置文件中的主机名或 IP 地址配置错误 有时，在分布式环境中，配置文件中指定的主机名或 IP 地址可能导致权限被拒绝的情况发生。例如，将 localhost 替换为实际的虚拟机 IP 地址可能会解决问题[^3]。 - **解决方法**: 修改 Hadoop 配置文件（如 core-site.xml 和 hdfs-site.xml），确保所有的主机名/IP 地址都指向正确的网络位置。 #### 4. Windows 平台下的 NativeIO 库加载失败 在 Windows 上运行 Hadoop 时，可能出现因无法加载 native library 而引发的一系列 IO 相关问题，其中包括 `Permission denied` 错误[^2]。 - **解决方法**: 下载适合版本的 Hadoop native libraries jar 包，并将其放置于类路径中。具体步骤如下： - 访问链接下载所需的 jar 包：[优快云 下载](http://download.youkuaiyun.com/download/qq_31780525/9754616)[^3] - 将其解压并将 lib/native 文件夹复制至 HADOOP_HOME/lib/native 中。 #### 5. Mapper 输入参数类型错误导致间接影响 虽然该问题表面上看起来与 `ioutils.copy` 无关，但如果 Mapper 接收到了不符合预期的数据结构（比如期望 LongWritable 却接收到 IntWritable），则可能导致后续处理阶段出现各种异常，甚至表现为 I/O 错误[^1]。 - **解决方法**: 检查数据流管道，确认输入数据格式完全符合设计需求。 --- ```python from pyhdfs import HdfsClient client = HdfsClient(hosts='localhost', port=9870, user_name='your_username') try: client.copy('source_path', 'destination_path') # Example of using copy function. except Exception as e: print(f'An error occurred during the file operation: {e}') ``` 以上 Python 示例展示了如何通过 PyHDFS 客户端调用 `copy()` 方法来实现文件拷贝功能，同时捕获潜在的异常以便进一步分析原因。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值