idea 方式用spark连接hive，并保存数据（问题及解决）

最新推荐文章于 2024-10-27 20:00:00 发布

原创

最新推荐文章于 2024-10-27 20:00:00 发布 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive

本文档介绍了如何在IntelliJ IDEA中配置Spark连接Hive，包括连接步骤、添加依赖和解决'Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState''的错误。在连接时遇到IllegalArgumentException，需要检查配置一致性。解决依赖问题可能需要删除并重新下载相关库。此外，文件权限问题可能导致错误，需调整文件权限。

背景：

背景为用idea编写spark，读取hdfs上的数据，并把处理好的数据保存到hive中

问题：

1、连接hive

连接语句为.config中的语句，其中.enableHiveSupport()也是不能少的

val spark: SparkSession = new sql.SparkSession
  .Builder()
  .appName("hello")
  .master("local")
  .config("hive.metastore.warehouse.dir", "hdfs://spark01:9000/user/hive/warehouse")
  .config("hive.metastore.uris", "thrift://spark01:9083")
  .enableHiveSupport()
  .getOrCreate()

.config中的语句要与hive-script.sh 中的设置要保持一致出现以下语句要先检查是否为设置不对称问题

User class threw exception: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':

2、添加pom文件，导入依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.11</artifactId>
    <version>${spark.version}</version>
    <!--<scope>provided</scop