【CDH】新集群搭建角色权限不足无法创建目录

最新推荐文章于 2023-12-03 15:07:30 发布
原创 最新推荐文章于 2023-12-03 15:07:30 发布 · 462 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hbase #大数据 #cloudera

本文档详细记录了在CDH新集群搭建时遇到的YARN、HBase、Spark启动异常的问题。问题根源是角色权限不足。通过分析日志，发现需要针对特定文件夹调整权限，以解决这个问题。

一、问题描述

CDH新集群搭建过程中，出现YARN启动异常、HBase启动异常、Spark启动异常的情况。

二、问题分析

经查看日志，分别如下三个图所示。
YARN启动异常
HBase启动异常
Spark启动异常

三、问题解决

CDH的问题，基本是日志描述了什么问题，你就解决什么问题。日志这里描述的是角色权限不足，只需要使用指定用户给文件夹赋予相应的权限：

#解决hdfs用户根目录权限不足问题
export HADOOP_USER_NAME=hdfs
hdfs dfs -chmod 777 /

#解决mapred用户/user目录权限不足问题
最低0.47元/天 解锁文章
CDH环境下HDFS权限问题
麦迪康
07-08 1340
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 问题： org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/recsys2021":hdfs:supergroup:drwxr-xr-x drwxr-xr-x - hdfs s
CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）
This is Yunis's blog!
08-22 3783
CDH6.2.0+Sentry+Kerberos安装过程记录文档 一、准备工作 1、本文环境 名称 CentOS JDK MySQL CM CDH 版本 7.9 1.8 5.7 6.2.0 6.2.0 2、集群规划 IP 主机名 角色 安装服务 内存 处理器 192.168.198.11 dtb-tc-app11 Master cloudera-scm-servercloudera-scm-agent 6G 4 192.168.198.12 dtb-tc-app12
cdh5.14重启hdfs报无法创建/tmp/.cloudera_health_monitoring_canary_files 解决办法
SelectDB的专栏
10-13 2894
[root@masternode ~]# sudo -u hdfs hdfs dfsadmin -safemode leave Safe mode is OFF   上述命令可能会报： Error: JAVA_HOME is not set and could not be found. 解决办法： [hadoop@masternode ~]$ sudo -i [root@mastern...
cdh用户权限_CDH搭建后，HDFS连接的权限问题
weixin_36329414的博客
12-23 291
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=1hdfs, access=WRITE, inode="/hdfsapi/test/a.txt":hdfs:supergroup:-rw-r--r--...
mysql集群连接权限不足_MySql Cluster 集成安装，Centos，坑点集锦
weixin_28947253的博客
02-19 609
坑点集锦安装步骤->安装步骤查看错误->错误集锦节点作用->节点作用测试结果->测试结果[MgmtSrvr] ERROR -- Failed to delete file '/usr/local/mysql/mysql-cluster/ndb_1_config.bin.1',权限不足，使用root启动[MgmtSrvr] INFO -- The default config...
hadoop启动时权限不足
weixin_30950607的博客
06-08 4473
之前在使用时的没用去懂.ssh,后来因为一些情况直接将其权限修改为777. 第一位7等于4+2+1，所以就是rwx，所有者有读取、写入、执行的权限；第二位7也是4+2+1，rwx，同组用户具有读取、写入、执行权限；第三位7，代表公共用户有读取、写入、执行的权限。 在启动datanode和namenode时这样会出现如下错误 权限不足Permission denied， 需要将他们的文件权限...
【CDH6.3.1集群搭建速成课】：麒麟v10-sp3环境下的高可用实践
CDH6.3.1集群搭建概述 ## 1.1 Cloudera Distribution Including Apache Hadoop简介 Cloudera Distribution Including Apache Hadoop (CDH) 是一个商业发行版的Hadoop，提供了一个全面、稳定和安全的企业级大数据...
CDH-5.10.2集群的搭建【史上最全，不全不要钱】（已经实现，但是非预期效果，可能是由于内存不足）
热门推荐
Null的博客
06-28 2万+
说在前面的话：本文适合电脑内存16G以上的，安装的是纯正的CDH，不是三个节点的，纯正四节点。建议配置主节点3G内存，从节点1.5G内存，硬盘大小建议单节点配置20G以上，CDH版本比apache吃内存和硬盘，请准备好再安装 如果你是新手学习，强烈！建议不要瞎改瞎命名，因为后面都是有关联的。如果跟我的一模一样，完全无脑CV保证安装成功，安装过程中遇到的报错各种问题都在相应的环节有说明，不要慌...
【麒麟v10-sp3系统的CDH6.3.1集群搭建】：全面指南与故障诊断技巧
![基于麒麟v10-sp3离线...首先，麒麟v10-sp3是基于Linux内核的操作系统，具备良好的兼容性和稳定性，这为CDH6.3.1集群的高效运行提供了坚实的基础。CDH6.3.1（Cloudera Distribution Including Apache Hadoop）是由C
CDH新集群没有hive创建表权限记录
sujins5288的博客
11-26 625
1.集群装好后在hive创建表时遇到FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission ...
Hadoop启动集群时出现如下报错信息：/tmp/hadoop-hadoop-datanode.pid: Permission denied如何解决？
m0_69671651的博客
03-23 1484
hadoop用户启动集群报错的解决办法
HDFS block丢失过多进入安全模式（safe mode）,不能在hdfs创建文件的解决方法
lesssssss的博客
04-20 1577
退出安全模式 hadoop dfsadmin -safemode leave。这个错误的原因是,丢失的block数量到达配置文件指定的阈值,hdfs开启了安全模式。删除丢失的block块 hdfs fsck / -delete。虚拟机任意目录下执行。
操作HDFS文件目录报AccessControlException : Permission denied 解决
keizhige的博客
11-18 909
操作HDFS文件目录报AccessControlException : Permission denied 解决
hue 用户权限分配
weixin_42885843的博客
12-24 4560
hue 用户权限分配 一、问题背景 CDH集群原来在使用hue部署oozie工作流的时候发现不能够运行工作流，因为当时hue创建用户时设置root为初始用户，而root用户不属于supergroup组，不能够调用集群中任何组件，为了解决这个问题，当时查参考了CDH权限不够，修改用户和用户组为root 这篇文章的做法后面来看，只是治标不治本，并没有完全解决后面hue中如果设置其他用户后，其他用户所具...
安装cdh中遇到的问题
warm_day的博客
02-26 427
永久关闭 修改selinux的配置文件，重启后生效。 打开 selinux 配置文件 [root@localhost ~]# vim /etc/selinux/config 修改 selinux 配置文件 将SELINUX=enforcing改为SELINUX=disabled，保存后退出 1.hbase中Hmaster启动失败： 原因可能有：hbase权限不够 zk缓冲 解决方...
HUE问题总结1
chenla5762的博客
03-20 337
1.如果HUE 在hdfs 上只能创建文件夹，不能创建文件怎么办？ 将hadoop的 hosts 都配置到hue这台机器上的hosts 中，不要有遗漏 2.运行oozie 报错，proxyUser cannot be null, If you're attempting to use u...
HUE整合HDFS后无法创建文件问题的解决
weixin_43190860的博客
06-21 1797
错误信息提示： 这是由于登录HUE的账户和HDFS目录操作权限的账户不一致导致的（比如我是用admin登录的hue，而HDFS目录的权限是hdfs） 解决方法：关闭HDFS设置中的权限检查，然后重启 创建文件成功 这里hiveTest.sh文件的创建用户就是admin，和其他文件不同 ...
Linux 普通用户创建文件夹（目录）权限不足的解决办法
最新发布
kaixinjiaoluo的博客
12-03 2万+
Linux 普通用户创建文件夹（目录）权限不足的解决办法。
linux安装Hadoop、hbase
qq_57810709的博客
10-17 6763
首先按打开终端窗口，输入如下命令创建新用户接着使用如下命令设置密码，可简单设置为hadoop可为hadoop。
Hadoop CDH伪分布集群搭建实战教程
本文档是一份详尽的Hadoop CDH版本伪分布式集群搭建教程，针对初学者设计，旨在帮助读者快速掌握大数据技术的基础环境构建。以下是主要知识点的详细说明： 1. **所需软件和资源**：教程开始首先提到，参与者需要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值