[备忘]CDH5.3 Hive FAILED: RuntimeException Cannot create staging directory 报错原因

最新推荐文章于 2024-09-26 19:04:59 发布

tinyid

最新推荐文章于 2024-09-26 19:04:59 发布

阅读量8.2k

点赞数 3

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/cnweike/article/details/43525865

版权

Hadoop 专栏收录该内容

34 篇文章

订阅专栏

升级至CDH5.3后，Hive查询出现权限拒绝错误。该问题源于CDH5.3的一个BUG，当尝试创建只读目录作为staging directory时未正确回退到/tmp目录。临时解决办法是设置hive.exec.stagingdir为/tmp/hive-staging。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在从CDH5.2升级到CDH5.3后，发现启动Hive执行查询语句时报以下错误：

hive> select count(1) from ht_payment;
FAILED: RuntimeException Cannot create staging directory 'hdfs://lambdafs/user/hive/warehouse/ht_payment/.hive-staging_hive_2015-02-05_11-34-47_062_6721775789378710662-1': Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse/ht_payment":hive:hadoop:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:216)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:145)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6286)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6268)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6220)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4087)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4057)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4030)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:787)
        at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:297)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:594)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:587)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

hive>

但是，同样的语句在CDH5.2集群上是没有问题的，经查，问题是CDH5.3引入的BUG：https://issues.cloudera.org/browse/DISTRO-681

原因在于在创建stage dir的时候，如果是只读权限，那么应该退回到/tmp目录下创建，但是CDH5.3.0未能正确处理这种情况。一个临时的解决方案是，在执行hive语句之前:

set hive.exec.stagingdir=/tmp/hive-staging;