Spark查询Hive表时没有权限及无法找到表

最新推荐文章于 2024-08-01 10:26:09 发布

原创最新推荐文章于 2024-08-01 10:26:09 发布 · 6.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive #hdfs

hadoop 同时被 2 个专栏收录

2 篇文章

订阅专栏

spark

1 篇文章

订阅专栏

使用spark-submit执行Python脚本操作Hive表时遇到权限错误，原因是HDFS的/tmp/hive目录权限不足。解决办法是删除HDFS和本地的/tmp/hive目录，并确保正确配置Hive的hive-site.xml，将其复制到Spark的conf目录，以解决找不到表的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用spark-submit执行python文件，进行hive表的操作时，会出现报错：

java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
        at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:171)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)...

表示对hdfs下/tmp/hive目录的操作权限没有写权限。

解决方法为：

同时删HDFS与本地的目录/tmp/hive：

hadoop fs -rm -r /tmp/hive

rm -rf /tmp/hive

spark查询hive表时可能会出现找不到表或者视图的情况，该情况是由于spark未知hive的配置。

解决方案为：

在hive的配置目录conf下，找到hive的配置文件hive-site.xml

将该文件复制到spark的conf目录下

重新运行spark shell或者通过spark-submit运行文件