在Linux的Spark中集成Hive，以及在Pycharm中集成Hive（附案例）

最新推荐文章于 2024-05-05 02:06:25 发布

竹长大大

最新推荐文章于 2024-05-05 02:06:25 发布

阅读量1.6k

点赞数 2

分类专栏： # Spark 文章标签： hive spark linux big data 大数据

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/123109428

版权

本文介绍了如何在Linux的Spark环境中集成Hive，包括配置Hive环境变量、启动metastore、修改hive-site.xml、拷贝mysql驱动jar包等步骤，并提供了验证集成的方法。此外，还讲解了在Pycharm中如何集成Hive，通过在SparkSession中设置相关参数实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、在Linux的Spark中集成Hive

1.1 为什么要集成Hive？

因为在Linux中的Spark安装包，默认是不能直接读取hive的表的，需要集成hive才能读取hive的库和表。

1.2 怎么做？

1、先配置hive环境变量，打开 vim /etc/profile，然后添加两行代码：
```
export HIVE_HOME=/export/server/hive
export PATH=$HIVE_HOME/bin:$PATH
```

2、然后启动hive的metastore

nohup hive --service metastore  2>&1 > /tmp/hive-metastore.log &

3、将metastore的进程端口号告诉给Spark，在spark/conf/的hive-site.xml文件中（可以从hive/conf/hive-site.xml文件拷贝过来即可），里面需包括以下的内容：

    <!-- 默认数仓的路径 -->
    <!-- spark保存数据的路径的配置名叫spark.sql.warehouse.dir
     如果SparkSQL找到了hive.metastore.warehouse.dir，那么
     就用hive.metastore.warehouse.dir的值作为
     spark.sql.warehouse.dir
     如果找不到hive.metastore.wareho