spark 应用程序访问hive异常问题

最新推荐文章于 2022-03-25 16:22:56 发布

原创

最新推荐文章于 2022-03-25 16:22:56 发布 · 791 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive

在本地开发Spark应用程序时遇到访问Hive异常，由于/hive目录权限不足导致报错。错误源于默认的HDFS路径权限不匹配。为解决此问题，需要修改HDFS上/hive目录的权限，使其满足writableHDFSDirPermission的要求。通过设置正确权限后，重新启动Spark程序，问题得到解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开发spark应用程序在本地启动时，报异常

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
   at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
   at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:204)
   at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:238)
   at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:218)
   at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:208)
   at org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute(HiveContext.scala:462)
   at org.apache.spark.sql.hive.HiveContext.functionRegistry(HiveContext.scala:461)
   &n