最后一次：HDFS的permission denied

最新推荐文章于 2024-06-30 17:30:39 发布
原创 最新推荐文章于 2024-06-30 17:30:39 发布 · 1.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #HDFS #permission #HADOOP_USER

本文详细探讨了在使用Hadoop HDFS时遇到的权限问题，包括Windows和Linux环境下用户权限不足导致的异常。核心问题在于默认用户对HDFS目录无权限。解决方法是通过设置HADOOP_USER_NAME环境变量指定用户，如在Java代码中设置或在启动Spark前配置环境变量。然而，直接修改HDFS目录权限虽能临时解决问题，但会破坏权限控制。

在使用Hadoop HDFS时，几乎初学者都会遇到下面的权限问题，有的人草草搜索解决了，却不知道为什么，下次换一种场景依然解决不了。只有了解其本质原因，才能举一反三。

异常信息：
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=administrator, access=WRITE, inode="/user/hdfs/xxx":hdfs:supergroup:drwxr-xr-x

几乎人人都知道这个报错是权限问题，发生这个错误的场景：

场景

  1. 在windows上，我通过IDEA使用Hadoop Client读取HDFS上的文件
  2. 在linux上，我使用非hdfs用户上传文件：hdfs dfs -put jimo.txt /usr/hdfs

显然，问题原因就是我们使用的用户对HDFS目录没有操作权限，我们使用的用户如果不指定，默认是系统用户：也就是当前登录用户，不论操作系统。

解决

那简单，切换成相应的hdfs用户吧。

linux完全ok，而windows要建一个用户就很麻烦了，所以，正确的方式Hadoop也考虑到了：手动指定用户！

通过设置 HADOOP_USER_NAME 这个环境变量来设置用户。

Java代码里

有的情况，你只需要设置一行代码即可，比如：

 System.setProperty
最低0.47元/天 解锁文章
启动hdfs报错：hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
优快云2022博客之星Top39；华为云博主7&，优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
05-10 4268
文章目录一、实验环境说明二、解决方法1.报错信息：2.解决方案：3.配置ssh免密登录: 一、实验环境说明 1.Hadoop3.1.3 2.CentOS7.5 3.伪分布式 二、解决方法 1.报错信息： 2.解决方案： hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 原因是：hadoop100这台机器没有配置ssh免密登录 3.配置ssh免密登录: 先进入到~/.ssh/路径 cd ~/
hive报错：Failed to move to trash: hdfs Permission denied by sticky 无法删除文件
weixin_41108545的博客
09-07 3172
背景描述： 由于默认的hdfs是备份为3，在三台集群上hive的数据库都有备份，现在准备删除其他datanode上的备份，但执行 hadoop fs -rm -r /user/hive/warehouse/*命令时报错： rm: Failed to move to trash: Permission denied by sticky bit: user=root, path=… 错误分析： 经过网上搜查之后，发现错误原因可能有三，一是root用户权限不够，在hdfs下，hdfs才是最大权限用户，解决方法是增
HDFS客户端的权限错误：Permission denied(转载)
01-03 4840
HDFS客户端的权限错误：Permission denied 2013年07月18日Java评论 2 条阅读 5,751 views 次 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （
Hadoop：hdfs文件permission denied问题解析
weixin_34194359的博客
11-01 2168
Cron jobs can be scheduled, but fail to write parquet file and seems due to user permission of “yarn”. : org.apache.hadoop.security.AccessControlException: Permission denied: user=yarn, access=WRIT...
Permission denied: user=Administrator, access=WRITE
adminyou的专栏
08-21 4619
关键代码为： if (!isSecurityEnabled() && (user == null)) {String envUser = System.getenv(HADOOP_USER_NAME);if (envUser == null) {envUser = System.getProperty(HADOOP_USER_NAME);}user = envUser == null ? n
HDFS客户端的权限错误：Permission denied
weixin_34204057的博客
01-07 176
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在操作的过程中出出了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文件的代码：privatestaticvoi...
mkdir: Permission denied: user=root, access=WRITE, inode="/lcy/test5.txt":hdfs:hdfs:drwxr-xr-x
Super涌
05-18 2445
环境：     centos 7     hadoop2.7 今天使用root用户hadoop上传文件测试的时候，怎么弄都无法上传成功，报错 #hdfs dfs -mkdir -p /lcy/test5.txt mkdir: Permission denied: user=root, access=WRITE, inode="/lcy/test5.txt":hdfs:hd
Oozie Shell 任务 yarn 用户写入 HDFS permission denied 异常切换用户
tonglingtou1875的博客
09-14 878
问题场景 Oozie 启动 SHELL 节点，其中上传 HDFS 时出现权限异常，异常信息如下： Permission denied: user=yarn, access=WRITE oozie shell action 问题原因 Hadoop分布式文件系统文件和目录的权限模型与POSIX系统权限模型相似。 每一个文件和目录有一个所有者（owner）和一个组（group）；文件或目录对其所有者、同组的其余用户以及全部其余用户分别有不一样的权限。 对文件而言，当读取这个文件时须要有 r 权限，当写入或者追加
Starting namenodes on [localhost] localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: hdfs@localhost: Permission denied (publickey,password). Starting datanodes localhost: hdfs@localhost: Permission denied (publickey,password). Starting secondary namenodes [aaa-virtual-machine] aaa-virtual-machine: Warning: Permanently added 'aaa-virtual-machine' (ECDSA) to the list of known hosts. aaa-virtual-machine: hdfs@aaa-virtual-machine: Permission denied (publickey,password).
最新发布
05-23
HDFS 启动时报 `Permission denied (publickey,password)` 错误通常是因为 SSH 配置不正确或文件权限设置不当引起的。以下是可能的原因及解决方案： #### 1. **SSH 免密登录未配置** 如果本地机器上的 SSH 免密登录...
HDFS权限问题：Permission denied
Lloyd-He
04-04 5765
报错如下: Permission denied: user=root, access=EXECUTE, inode= “/user/yarn”: yarn:supergroup:drxw– org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271...
在安装HDFS过程中遇见Permission denied
qq_65231448的博客
06-30 761
想必有同学在实战Shell的时候，遇到了： Permission denied: user=root, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 这种类似的问题。问题的原因就是没有权限，那么为什么呢？
Permission denied: user=Admin, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
Rocky
08-16 1485
在本地eclipse上运行此段代码的时候会出现报错信息： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.1.21:9000"); fs = FileSystem.get(conf); 报错信息如下所示： org.apache.hadoop.security.AccessCo...
Permission denied: user=Administrator, access=WRITE, inode="/data/spark":hadoop:supergroup:drwxr-xr
小猿生的博客
08-10 631
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/data/spark":hadoop:supergroup:drwxr-xr...
操作HDFS文件目录报AccessControlException : Permission denied 解决
keizhige的博客
11-18 911
操作HDFS文件目录报AccessControlException : Permission denied 解决
Permission denied: user=administrator, access=WRITE 问题解决
zhangjunli的博客
05-24 6638
Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看） 问题描述 上传文件的代码： package com.cys.mapreduce; import java.io.IOException; import java.util.StringTokenizer;
linux下root操作hdfs文件系统出现permission denied 的错误
Axel_Fran的博客
03-08 1575
Linux centos 7.5 查看 系统用户与用户组用户 问题背景是是在登录 hdfs 的WEB 页面时， 显示的文件夹user 的所有者是hdfs, 那么 root算什么？？ 首先明确 hdfs (文件系统) 与Linux的文件系统是平级的。 因此在这两个不同的文件系统，用户的定义也不同 如标题：在 HDFS 中 用户 hdfs 是superuser (超级用户) 对应的， 在linux 中， 用户 root 是superuser（超级用户） 然而，在安装hadoop时， 这些hdfs...
eclipes远程连接hadoop 权限错误 Permission denied: user=root, access=WRITE, inode="/":hdfs:super
owen-li
03-30 2763
eclipse连接hadoop后运行报错，显示用户权限不够。 17/03/30 21:14:29 WARN mapred.LocalJobRunner: job_local1761927032_0001org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, in
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值