spark本地调试hive

最新推荐文章于 2025-07-29 10:07:22 发布

期待可为

最新推荐文章于 2025-07-29 10:07:22 发布

阅读量5.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据开发文章标签： spark hive 本地调试操作连接

本文链接：https://blog.youkuaiyun.com/zkw597952645/article/details/78285774

在本地环境使用Spark2.1.0进行Hive调试，需要配置hive-site.xml以使用MySQL作为元数据存储，并将MySQL驱动添加到Hive的lib目录。在Scala工程中，将hive-site.xml复制到resources目录，添加相关jar包，并在初始化sparkSession时启用hive支持。此外，还提到了一些关键端口如webUI、namenode、yarn和spark的相关端口。

本地环境信息 spark2.1.0 hadoop:2.6.0 hive:2.1.1 scala:2.11.8 java:1.8.0_141 mysql

1 保证hive可用，配置hive-site.xml如下，下面的配置使用的是mysql作为元数据存储工具，所以还需要将mysql驱动包复制到hive安装路径的lib目录下，需要配置hive使用mysql座位底层存储工具schematool -initSchema -dbType mysql。

<configuration>  
   <property>  
        <name>javax.jdo.option.ConnectionURL</name>  
        <value>jdbc:mysql://10.118.58.27:3306/hive?createDatabaseIfNotExist=true</value>  
    </property>  
    <property>  
        <name>javax.jdo.option.ConnectionDriverName</name>  
        <value>com.mysql.jdbc.Driver</value>  
    </property>  
    <property>  
        <name>javax.jdo.option.ConnectionUserName</name>  
        <value>××××</value>  
    </property>  
    <property>