Hive hdfs Exception:Name node is in safe mode.及Access denied for user root. Superuser privile问题解决方法

解决namenode一直处于安全模式的问题 问题:hadoop集群的namenode一直处于安全模式。 现象:开启hive时报错: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/xxx/01ce6751-cfbf-4120-9d63-0a2432187af2. Name node is in safe mode. 解决: 1 阅读详情

问题起因:定时执行azkaban任务时报错:WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /user/hadoop/.staging/job_1519809873961_6227. Name node is in safe mode.

然后xshell连接服务器切hive查看原因,发现hive无法进入Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/hadoop/2f76618a-3efd-4dad-abe3-290b2d40a523. Name node is in safe mode.

发现是Namenode处于安全模式

使用hadoop dfsadmin -safemode leave命令关闭安全模式无效

权限不足,sudo su 切root账户执行依然权限不够。

最终解决

方案1

ps -ef

看一下运行hdfs的用户是谁,再切到该用户下

root 11980 11954 0 14:27 ? 00:00:23 python2.6 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/flood

postfix 12065 1078 0 14:29 ? 00:00:00 pickup -l -t fifo -u

root 14740 1 0 14:55 ? 00:00:00 sshd: root@pts/0

root 14765 14740 0 14:55 pts/0 00:00:00 -bash

root 15158 1 0 14:58 ? 00:00:00 /usr/sbin/sshd

hdfs 16493 11954 2 15:19 ? 00:00:29 /usr/java/jdk1.7.0_67//bin/java -Dproc_namenode -Xmx1000m -Dhdfs.audit.logg

hdfs 16523 11954 1 15:19 ? 00:00:14 /usr/java/jdk1.7.0_67//bin/java -Dproc_secondarynamenode -Xmx1000m -Dhdfs.a

root 19304 8259 1 15:43 pts/1 00:00:00 ps -ef

su - hdfs

再运行就ok了

hdfs dfsadmin -safemode leave

解决办法2

到服务器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false

在conf/hdfs-site.xml中加入

dfs.permissions

false

解决办法3

clouder manager 在web上操作流程:

1)增加角色:HDFS->配置->检查HDFS 权限dfs.permissions这项不要打勾->保存更改->重启hdfs

之后就可以用root用户

【大二组培训】2017年电子设计大赛H题总结(软件部分) 文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下(示例): import numpy as np import pandas as pd import matplotlib.pyplot as plt im 阅读详情

相关推荐

QCustomPlot实现毫秒级时间轴数据的动态可视化与实时刷新优化

本文深入探讨了如何利用QCustomPlot库高效实现毫秒级时间轴数据的动态可视化与实时刷新。文章从基础配置讲起,详细介绍了时间轴初始化、数据平滑滚动、增量更新与内存管理等核心优化技巧,并分享了应对高频数据的缓冲策略及OpenGL硬件加速等高级优化手段,旨在解决实时图表卡顿问题,提升流畅度。

weixin_29012677的博客 424

Cannot create directory /tmp. Name node is in safe mode

CDH启动到HDFS时报错: 页面报错:正在创建 HDFS /tmp 目录  命令 (1354) 已失败 日志详细信息: PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create

小海的专栏 5321

瑞萨MCU定时器API实战:从Smart Configurator配置到中断与输入捕获应用

在嵌入式系统开发中,定时器(Timer)是实现精准时序控制、PWM输出和信号测量的核心硬件外设。其工作原理基于计数器在稳定时钟源驱动下递增或递减,达到预设值后触发中断或改变输出电平,从而为系统提供节拍和事件基准。通过图形化配置工具(如瑞萨的Smart Configurator),开发者可以高效地将复杂的硬件寄存器操作转化为清晰、标准化的C语言API函数,这极大地提升了开发效率并降低了出错风险。这种从硬件抽象到软件接口的技术价值在于,它使得开发者能更专注于应用逻辑,而非底层细节,尤其适用于工业控制、汽车电子等

weixin_42519733的博客 274

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException)

文章目录1.错误信息:2.原因3.解决方法 1.错误信息: 父路径不是一个目录:/tmp tmp org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException): Parent path is not a directory: /tmp tmp PriviledgedActionExc...

王傲旗的大数据之路 7987

使用mne包来对脑电数据进行预处理(一)

MNE(MNE-Python)是一个用于处理脑电(EEG)、磁图(MEG)和其他神经科学数据的Python库。它提供了丰富的功能,包括数据加载、预处理、分析和可视化,旨在帮助研究人员和神经科学家更轻松地进行脑电数据的处理和分析。在本文中,我们使用mne来对不同的格式的脑电数据集进行数据读取。

m0_71596228的博客 4304

LTspice导入德州仪器SPICE模型的实用指南与常见问题解析

本文详细介绍了如何在LTspice中导入德州仪器的SPICE模型,包括模型文件获取、路径管理、导入步骤及常见问题解析。通过实用指南帮助工程师精确仿真电路性能,提升设计效率,重点涵盖了第三方模型的导入教程和最佳实践。

kk1234的博客 309

报错Cannot set permission for /hdata/hdfs/system. Name node is in safe mode.

1.报错Cannot set permission for /hdata/hdfs/system. Name node is in safe mode. 错误现象:hadoop集群重启时报如下错误: 2013-07-05 14:41:50,074 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionEx

沉底的石头 4701

如何在多 GPU 配置上运行 Unsloth:数据并行或模型并行

当工作负载受限于内存(模型或批次无法放入单张显卡)、或受限于计算且计算与通信比率较高时(即每块 GPU 的额外计算量超过同步参数的开销,如在 DDP 中,或超过传递激活值的开销,如在模型并行中),多 GPU 配置才开始显现优势。在松散连接的显卡上(尤其是 PCIe 版本的 H100 或 A100),额外的设备间数据传输会导致性能显著低于单 GPU 运行。让我们厘清概念,明确说明如何通过模型并行(将模型拆分到多个 GPU)或数据并行(在每个 GPU 上复制模型)来跨多 GPU 运行 Unsloth。

人工智能领域专家 646

Name node is in safe mode

Name node is in safe mode。

小趴菜的小蛋泡 1898

RK3568 上C图像camera图像采集应用实例(二)

本文探索rk3568上实现C语言的 通过C v4l2 接口 采集图像 ,刷屏控制 drm的显示camera图像中 实现camera preview 预览 的实践和探索。

luoshanxuli2010的专栏 760

初探802.11协议(0)——PCF/DCF与CSMA/CA机制

IEEE802.11 CSMA/CA机制与DCF机制

FanFF的博客 4505

Name node is in safe mode.

根据错误提示发现确实是因为自己系统磁盘空间不足,起初我在虚拟机设置中进行"碎片整理"和"压缩",然后再手动执行"hadoop dfsadmin -safemode leave"发现仍然没有用.后来我就直接手动删除清理一下虚拟机上没用的文件和文件夹,注意不要清理错了,然后就可以正常执行hdfs命令了.手动执行关闭安全模式也没有用 hadoop dfsadmin -safemode leave。

qq_45808446的博客 976

AD9914数字斜坡模式使用

类似的,如果DRG输出处于负斜率斜坡中间,DRCTL引脚由逻辑0变为逻辑1,那么DRG会立即切换成正斜率参数,恢复在两个限值之间振荡输出。当两个非驻留位同时设置时,每次DRG输出达到编程设定的上限值或下限值后(假定DRG过输出使能位(0x01[13])已设置),DROVER信号会产生一个正脉冲(两个DDS时钟周期)。不过,在非驻留操作中,DRG输出不一定保持在上下限值。例如,设置数字斜坡非驻留高位,则当达到上限值时,DRG会自动(立即)跳到下限值(这一过程并非以斜坡方式返回下限值,而是直接跳至下限值)。

wangjie36的博客 3864

CDH集群下hadoop异常PriviledgedActionException as:root (auth:SIMPLE)解决

在hadoop的应用平台看到的错误如下,根据这个错误参考了网络上的一些解决方法,没有解决这个问题,后来找了下yarn的日志 Application application_1553509480321_0011 failed 2 times due to AM Container for appattempt_1553509480321_0011_000002 exit...

7100

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

HDFS JournalNode: JournalNotFormattedException: Journal Storage Directory * not formatted

HDFS JournalNode: JournalNotFormattedException: Journal Storage Directory * not formatted

u011250186的博客 187

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

错误:PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory

前言: 今天做hadoop项目的时候报错 错误:PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory 解决方法: 加上 config.set(“hadoop.tmp.dir”,“F:\tool\hadoop-260”);

weixin_44695793的博客 1242

hive启动一直失败 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

好不容把大数据集群装好了,但是hive始终启动不了。 第一步先认真的检查一下mysql中创建的hive数据和用户名 create database hive default charset utf8 collate utf8_general_ci; CREATE USER 'hive'@'%' IDENTIFIED BY 'Hive-123'; GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%'; FLUSH PRIVILEGES; 这个一定要增加,要不然本地

一休求索 2万+

HADOOP在处理HIVE时权限错误的解决办法

今天,小乔操作时发现问题:   org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPe...

weixin_33896069的博客 640

CDH Hive集群的create/drop慢问题,在200s 多一点处理分析

现象: CREATE TABLE test911 (SN String,PN_CODE String); Total time spent in this metastore function was greater than 1000ms : createTable_(Table, )=200091 Hive集群的 create/drop 操作时间基本都稳定在 200s 多一点。 分析: HMS会实时向Sentry同步Notifications请求,当需要大批同步消息需要处理,后台线程处理不过来,消息压滞

sunxunyong的博客 1636

Access denied for user root. Superuser privilege is required

在使用 cloudera manager 安装 hdfs 的过程中,报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSION using /opt/cm-5.7.0/run/cloudera-scm-agent/process/25-hdfs-NAMENODE-createtmp as CONF_DIR using a...

qq5132834的专栏 3445

执行java代码报错:Access denied for user Administrator,Superuser privilege isrequired

产生这个问题的原因是,Administrator 并不是我的 HDFS 的超级用户,无法操作 HDFS 1、如何为Hadoop创建新用户 HDFS 本身并没有提供用户名、组等的创建和管理,在客户端操作 Hadoop 的文件操作命令时,Hadoop 自动识别执行命令所在的进程的用户名和用户组,然后检查这个用户名和组是否具有权限来操作。 HDFS 支持权限控制,但支持较弱。HDFS 的设计是基于 POSIX 模型的,支持按用户、用户组、其他用户的读写执行控制权限 注:启动Hadoop的用户即为超级用户,可以进行

x²+(y-√³x²)²=1的博客 869

hdfs 异常:Name node is in safe mode

将文件拷到hdfs上去,结果异常:Name node is in safe mode 原因:分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。 解决:打开hadoop文件下执行 bin/hdfs dfsadmin -safemode leave 命令 注: enter - 进

weixin_40459875的博客 1143

hdfs执行balance报错:because lease recovery is in progress. Try again later.

hdfs执行balance报错:because lease recovery is in progress. Try again later.

u011250186的博客 562

开启Kerberos的CDH增加新节点后刷新集群出现的异常

2020-07-02 14:02:46,504 WARN org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs/xxxx@xxxx.COM (auth:KERBEROS) cause:org.apache.hadoop.ipc.RemoteException(javax.securi ty.sasl.SaslException): GSS initiate failed 2020-07-02 .

u010608720的专栏 1630

Hadoop启动后一直处于SafeMode

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33696106的博客 946

HBase Bulk Loading时遇到的两个问题

我采用了先ImportTsv后completebulkload的方式,并且completebulkload时采用了LoadIncrementalHFiles。 当执行

程序人生 3226
上一篇: hive备份之批量导出表名、建表语句
下一篇: shell脚本执行hive命令传值给sql文件、shell传参
grootblockchain
博客等级 码龄11年 55粉丝 101原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值