Spark：【error】远程调试 root:supergroup:drwxr-xr-x

最新推荐文章于 2024-04-29 17:03:18 发布
原创 最新推荐文章于 2024-04-29 17:03:18 发布 · 883 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xxxx, access=WRITE, inode="/test/out/_temporary/0":root:supergroup:drwxr-xr-x

.......................

解决方法

hadoop fs -chmod 777 /test

 

解决Permission denied: user=root, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x问题
qq_43541746的博客
04-03 1万+
DFS locations创建目录失败，错误描述： Permission denied: user=root, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 其实就是你的用户,对所操作的文件没有写的权限,创建目录需要拥有写权限，在测试的时候可以将所有文件的所有权限都开放,这样就不会出现这种错误了。 先在xshell上实验看是否无法创建目录，如下图则为无法创建。 解决方法：（本人方法一无效，方法二有效） 1） 修改hdfs-site.xml，追加df
spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc
蘑菇丁的专栏
05-16 2273
[root@cm3 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/05/16 17:08:23 ERROR spark.SparkContext:...
Hive中数据加载失败：root:supergroup:drwxr-xr-x
weixin_30617561的博客
04-19 1095
Hive中数据加载失败：inode=:root:supergroup:drwxr-xr-x 在执行hive，数据加载的时候，遇到了一个错误，如下图： 在执行程序的过程中，遇到权限问题很正常，背后原理也不是很懂，但是通过修改配置，问题已经解决了。 解决方法：hadoop 的hdfs-site文件中添加以下内容，关闭权限检查 ，然后重启Hadoop集群，即解决了上述问题。 ...
hive 脚本运行无法修改数据库Permission denied:inode=“/user/hive/warehouse“:root:supergroup:drwxr-xr-x
weixin_42404102的博客
07-31 1615
1）异常情况描述 Permission denied: user=anonymous, access=WRITE, inode="/user/hive/warehouse":root:supergroup:drwxr-xr-x Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(m.
Hive报错：Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x
wangxiaowu_001的博客
04-29 1039
刚部署了CDH集群，同事往hdfs中写了一些测试数据，通过Hive查询这些数据的时候报了下面错误：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x。
解决Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 问题方法
m0_48830183的博客
08-12 1万+
hadoop
Hive 连接出现Error while processing statement: FAILED: Execution Error
wumingxiaozei的博客
11-11 8895
SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache.hadoop.hd...
cdh运行spark2-shell，hive异常处理
qq_31108731的博客
10-30 1295
1、Cause: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask ; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.ha...
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 1080
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
[root@hadoop2333229102 hive]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/root/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/root/hive/lib/hive-common-2.3.7.jar!/hive-log4j2.properties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. hive> create database dblab; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse/dblab.db":hadoop:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:213) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1712) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1695) at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3896) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:984) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:622) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2043) )
09-22
hdfs dfs -chown root:supergroup /user/hive/warehouse/dblab.db ``` **注意**：生产环境建议使用`setfacl`细粒度控制而非777权限[^3] #### 方法3：代码中指定用户（编程访问时） ```java // 在Java/Scala代码开头...
cdh新增root用户到supergroup
why_adon的博客
06-09 1449
1.查看supergroup是否存在 cat /etc/group | grep supergroup 不存在则创建 groupadd supergroup 2.将root用户添加到supergroup组 usermod -a -G supergroup root 3.将权限应用到cdh集群中 hdfs dfsadmin -refreshUserToGroupsMappings 4.测试 第一种（建议采用）： sudo -u root hadoop fs -chmod ...
Hdfs页面操作文件出现 Permission denied: user=dr.who, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr问题解决
biuubi的博客
05-24 1万+
错误描述：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 先开始一直纠结我是用hadoop用户登录操作的，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置， hadoop.http.staticuser.user=dr.who 我们可以通过修改core-site.xml，配置为当前用户，
解决：Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
weixin_38842096的博客
01-24 1205
通过mapreduce 往hdfs包的错误 原因是权限错误 我使用的是hadoop用户 在idea上修改权限为hadoop就可以啦 -DHADOOP_USER_NAME=hadoop
运行报错 Permission denied: user=Admin, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
阿楠的博客
07-18 1691
运行idea eclipse的时候报错 报错原因：第一次在本地运行wordCount的时候会报这种错，显示说没有权限，之前以为是电脑权限的问题，后来换成运行本地文件的时候不会报错，突然想到代码中的路径是用的集群上的hdfs上边的文件，意思就是说运行hdfs上边的文件没有权限。 解决方法：解决方法很简单，只需要给hdfs文件权限就可以使用了，简单有效 具体实现：linux命令输入 hado...
Spark 读取 Hive 数据及相关问题解决
storm_fury
09-29 2297
D:\development\java\jdk1.8.0_111\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:59779,suspend=y,server=n -javaagent:D:\development\ideaIU-2018.3.5.win\lib\rt\debugger-agent.jar -Dfi...
HDFS中将普通用户增加到超级用户组supergroup以及其应用场景
冯立彬的博客
08-31 2万+
Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数据中导入数据到hive中，其后会通过Yarn来执行MapReduce这么一个过程，不过Yarn在执行的时候，会在hdfs的/...
spark报错Permission denied: user=test, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
蜗牛^_^的博客
09-18 1465
项目背景 使用structured streaming消费kafka某个topic数据并写入hdfs上。本地运行没有错误，部署在yarn上报错。 问题排查 根据报错提示，是test用户没有权限操作hdfs的根目录，hdfs用户有权限。则使用hdfs用户进行部署，运行正常。发现在hdfs根目录下生成文件 /yarn/nm/usercache/hdfs/appcache/application...
Cdh版本下 sprak-shell启动失败
weixin_42022134的博客
05-07 205
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/spark/applicationHistory":spark:supergroup...
HDFS上传文件错误：Permission denied: user=root, access=WRITE, inode="/user"
热门推荐
g11d111的博客
06-07 2万+
问题描述 今天用spark-streaming测试HDFS（文件系统）监听情况的时候，因为CDH集群重新配置的原因，权限没有设置好。导致写文件出bug。 错误情况（错误代码那块没保存，下面的代码从网上找的，不过错误的地方是相同的。）：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003 11/10
hadoop:supergroup:drwxr-xr-x
最新发布
10-14
在Hadoop文件系统（HDFS）中，权限表示方式 `drwxr-xr-x` 遵循Unix-like系统的文件权限表示规则，以下是对其含义的详细解释： ### 权限字符串结构 权限字符串 `drwxr-xr-x` 一共10个字符，可分为四部分： #### 1. 第一个字符：文件类型 - `d`：表示这是一个目录（directory）。如果是 `-`，则表示这是一个普通文件；`l` 表示符号链接等其他类型。 #### 2. 第2 - 4个字符（用户权限） - `rwx`：代表文件或目录的拥有者（owner）具有的权限。 - `r`（read）：读权限，允许用户读取文件内容或列出目录中的文件。 - `w`（write）：写权限，允许用户修改文件内容或在目录中创建、删除文件。 - `x`（execute）：执行权限，对于文件来说允许用户执行该文件；对于目录来说允许用户进入该目录。 #### 3. 第5 - 7个字符（用户组权限） - `r-x`：代表文件或目录所属用户组（group）具有的权限。 - `r`：读权限，允许用户组中的用户读取文件内容或列出目录中的文件。 - `-`：没有写权限，用户组中的用户不能修改文件内容或在目录中创建、删除文件。 - `x`：执行权限，允许用户组中的用户进入该目录。 #### 4. 第8 - 10个字符（其他用户权限） - `r-x`：代表除了拥有者和所属用户组之外的其他用户（others）具有的权限。 - `r`：读权限，允许其他用户读取文件内容或列出目录中的文件。 - `-`：没有写权限，其他用户不能修改文件内容或在目录中创建、删除文件。 - `x`：执行权限，允许其他用户进入该目录。 ### 相关信息 当Hadoop中的 `supergroup` 用户组下的文件或目录具有 `drwxr-xr-x` 权限时： - 该目录的拥有者可以自由地读取、写入和进入该目录。 - `supergroup` 用户组的成员可以读取该目录下的文件列表，并且可以进入该目录，但不能在该目录下创建、删除或修改文件。 - 其他用户也可以读取该目录下的文件列表并进入该目录，但同样不能进行写操作。 ### 示例代码 在Hadoop命令行中，可以使用 `hdfs dfs -ls` 命令查看文件或目录的权限： ```bash hdfs dfs -ls /path/to/directory ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值