spark on hive 问题记录

最新推荐文章于 2024-11-12 09:15:00 发布

沧海寄馀生

最新推荐文章于 2024-11-12 09:15:00 发布

阅读量836

点赞数

文章标签： hive spark big data

本文链接：https://blog.youkuaiyun.com/sx157559322/article/details/122369058

版权

本文详细描述了在Windows环境下使用Spark 3.x操作Hive 3.1.2时遇到的问题，包括依赖版本调整、权限设置和Tez引擎切换。通过解决步骤，作者分享了如何配置Maven依赖、设置HADOOP_USER_NAME环境变量以及调整配置以适应本地环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

操作描述:
本地使用spark 代码操作自己搭建的hadoop 集群中 hive 数据

环境背景:本机搭建的hive 版本是 3.1.2 本地window scala版本是2.12.15

java 代码:

//import org.apache.spark.SparkConf;
import org.apache.spark.sql.SparkSession;

public class sparkHive {
    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder()
                .master("local")
                .appName("spark_hive")
                .config("hive.metastore.uris", "thrift://hadoop2:9083")
//                .config("spark.sql.warehouse.dir","hdfs://mycluster/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate();

        sparkSession.sql("create table wqg.spark_hive_20220107_04 (name string)");
        sparkSession.sql("insert into wqg.spark_hive_20220107_04 values('tom')");

        sparkSession.stop();
    }
}

问题一:
org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:883)

这里我依赖的版本是spark3.x

开始的maven依赖

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.12</artifactId>
            <version>3.0.0</version>
            <scope>provided</scope>
        </dependency>

</dependencies>

网上的搜索基本都是提示需要导入spark-hive 这个依赖
但是我导入还是不行依旧报错提示找不到类
在这里插入图片描述
实际是有的后来降低了版本解决

maven依赖改为

   <properties>
        <scala.version>2.12</scala.version>
        <spark.version>2.4.4</spark.version>
    </properties>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>

问题二:权限问题
错误信息:
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/user/hive/warehouse/xxx.db/

解决:
idea中设置环境变量:
在这里插入图片描述变量设置:HADOOP_USER_NAME=root