Spark on Hive和Hive on Spark的区别

zhangvalue

于 2022-07-19 17:10:56 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： hive spark 大数据

本文链接：https://blog.youkuaiyun.com/zhangvalue/article/details/125876347

spark 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了Spark如何通过SparkSQL与Hive进行整合，其中Hive仅作为数据存储，而SQL解析和优化由Spark负责。步骤包括加载Hive配置，获取元数据，以及使用SparkSQL操作Hive表。另外，提到了Hive on Spark的情况，即Hive的执行引擎变为Spark，但实现较为复杂，通常采用Spark on Hive的方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark on hive :

    hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD

    具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD，

    步骤如下：

            1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息

            2.获取到Hive的元数据信息之后可以拿到Hive表的数据

            3.通过sparkSQL来操作Hive表中的数据

hive on spark:

    hive既作为存储又负责sql的解析优化，spark负责执行

    这里Hive的执行引擎变成了spark，不再是MR。

    这个实现较为麻烦，必须重新编译spark并导入相关jar包

Spark on Hive和Hive on Spark的区别

spark on hive :

hive on spark:

目前大部分使用spark on hive