hive on spark与sparkSQl共存

最新推荐文章于 2025-05-04 22:26:07 发布
最新推荐文章于 2025-05-04 22:26:07 发布
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： bigdata 文章标签： sparksql hive on spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fzuzhanghao1993/article/details/90203357
博客围绕使用spark脚本读写hive数据展开。介绍了版本依赖，包括hive 2.3.3、spark 2.1.0等。指出使用sparksql读写hive数据时，使用预编译包和非预编译包存在矛盾问题。最后给出解决方法，在hive运行节点用spark - without - hadoop包，yarn nodemanager节点用spark预编译包。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景

需要使用spark脚本读写hive数据
又需要让hive mr引擎使用spark，从而从kettle入口触发hive交互时hive能够用到spark性能

版本依赖

原生apache :

hive 2.3.3
spark 2.1.0
spark 2.1.0-without-hadoop
hadoop 2.6.5

问题所在

因为sparksql使用hive仓库需使用到完整的hive,hdfs依赖包，因此需要使用apache预编译好的hadoop整合包，否则无论在spark-shell环境还是spark-submit提交作业都会报出hive类异常之类的错误

Caused by: java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support

Unable to instantiate SparkSession with Hive support because Hive classes are not found

而使用预编译包，在hive中使用spark引擎的话，又会发生

java.lang.NoSuchFieldError: SPARK_RPC_SERVER_ADDRESS

的错误，这个时候需要非预编译hive的spark工程，相当矛盾。

解决方法

利用spark在driver运行节点classpath下获取相关jars的原理，在hive运行节点使用spark-without-hadoop包。而在yarn nodemanager节点使用spark预编译包，sparksql提交的脚本driver也运行于这几个节点。

节点名称节点功能使用部署包运行说明
master1主节点spark-2.1.0-bin-without-hadoop.tgz
hive-2.3.3.tar		yarn resourcemanager，hive
master2主节点备用spark-2.1.0-bin-without-hadoop.tgz
hive-2.3.3.tar		yarn resourcemanager，hive
slave1运算节点1spark-2.1.0-bin-hadoop2.6.tgzyarn nodemanager，
使用spark shell/submit
slave2运算节点2spark-2.1.0-bin-hadoop2.6.tgzyarn nodemanager，
使用spark shell/submit
slave3运算节点3spark-2.1.0-bin-hadoop2.6.tgzyarn nodemanager，
使用spark shell/submit
深度解析：Spark、Hive 与 Presto 的融合应用之道
数据与算法架构提升之路专栏
05-22 498
Spark作为一个强大的分布式计算引擎，支持多种部署模式，包括Standalone、YARN、Mesos和Kubernetes等集群管理器，可以根据不同场景灵活选择。随着数据量的增长和分析需求的多样化，从Spark部署、Hive集成到Presto查询引擎的引入，构成了一个完整而强大的大数据技术栈。这三项技术相互补充，各司其职：Spark负责强大的分布式计算，Hive提供数据仓库管理能力，而Presto则带来高性能的交互式查询体验。
SparkSQL简介
zx8167107的博客
12-13 2270
日期 版本 修订 审批 修订说明 2016.10.20 1.0 章鑫8 初始版本   1 简介 SparkSQL是Spark的一个组件，用于结构化数据的计算，SparkSQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。 与SparkSQL紧密相关的组件是Shark和hive，其中Shark已经被开发者摒弃。 2
Hive On Spark & SparkSQL On Hive 笔记
大数据研究小白
08-24 770
Hive On Spark & SparkSQL On Hive
SparkSQL和hive on Spark
weixin_33774308的博客
11-28 262
SparkSQL简介 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为Shark对于Hive...
【Hive入门】Hive与Spark SQL集成：混合计算实践指南
最新发布
IT成长日记的博客
05-04 1534
在大数据生态系统中，Hive和Spark SQL都是非常重要的数据处理工具。Hive作为基于Hadoop的数据仓库工具，提供了类SQL的查询能力；而Spark SQL则是Spark生态系统中的结构化数据处理模块，以其高性能的内存计算能力著称。将两者集成使用，可以充分发挥各自的优势，实现更高效的数据处理和分析。混合计算架构能够充分发挥两种技术的优势，为大数据处理提供更加灵活高效的解决方案。
Hive on Spark 和 Spark sql on Hive，你能分的清楚么
weixin_43770745的博客
09-26 996
结构上 Hive On Spark 和 SparkSQL 都是一个翻译层，把一个 SQL 翻译成分布式可执行的 Spark 程序。Hive 和 SparkSQL 都不负责计算。Hive 的默认执行引擎是 mr，还可以运行在 Spark 和 Tez。Spark 可以连接多种数据源，然后使用 SparkSQL 来执行分布式计算。（1）首先安装包要选择对，否则就没有开始了。Hive 版本:apache-hive-2.1.1-bin.tar。
浅谈spark sql、hive on spark、spark on hive
ergouy's blog
09-16 1034
主要讨论spark sql、hive on spark、spark on hive的区别
Hive on Spark与SparkSql的区别
qq_43688472的博客
12-28 3314
Hive on Spark与SparkSql的区别 hive on spark大体与SparkSQL结构类似，只是SQL引擎不同，但是计算引擎都是spark！ 核心代码 #初始化Spark SQL #导入Spark SQL from pyspark.sql import HiveContext,Row # 当不能引入Hive依赖时 # from pyspark.sql import SQLCont...
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1494
hive on spark的整合配置及具体实现文档
【spark床头书系列】PySpark 安装指南 PySpark DataFrame 、PySpark Pandas Api快速入门权威指南
wang2leee的博客
12-04 1703
PySpark是Apache Spark官方发布的一部分，可以在Apache Spark网站上获取。对于Python用户，PySpark还提供了从PyPI进行pip安装的方式。这通常适用于本地使用或作为连接到集群的客户端，而不是设置一个集群本身。
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2618
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
Spark--SparkSql--spark集成hive（hive on spark的配置和原理）
数据科学 爱好分享 快乐就完了
07-14 1181
主要介绍hive on spark的配置过程和hive on spark的原理
Hive，Hive on Spark和SparkSQL区别
m0_61607827的博客
03-17 2113
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析 Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语句给 Driver Step 2：Driver 为查询语句创建会话句柄，并将查询语
hive on spark下运行sparkSql
qq_39518915的博客
08-24 611
hive on spark的spark版本是没有把hive编译进去的，所以在sparkSql运行时候找不到hive的包。 目前没找到解决办法，但是CDH版本的spark能解决这个问题。
Unable to instantiate SparkSession with Hive support because Hive classes are not found
盛源的博客
02-13 1147
1 问题 spark 本地测试时，报如下错误日志：Caused by: java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. 2 解决 1） 获取sparksession时不要用enableHiveSup...
Exception in thread “main“ java.lang.IllegalArgumentException: Unable to instantiate SparkSession wi
T_Y_F_的博客
02-03 1172
Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession wi
Unable to instantiate SparkSession with Hive support because Hive classes are not found.解决办法
weixin_43552807的博客
03-30 4121
在使用scala+sbt开发spark应用程序时，会遇到找不到hive class这个问题。 spark操作hive应该导入spark-hive包。关于spark-hive包，mvnrepository网站的sbt引用区域写的是： libraryDependencies += “org.apache.spark” %% “spark-hive” % “2.4.4” % "provided" 但是实...
Unable to instantiate SparkSession with Hive support because Hive classes are not found.
热门推荐
one111a的博客
08-22 1万+
写一个maven模块的时候出现了这样一个Exception： Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. 这是因为没有在这个模块的po...
Spark大数据常见错误及解决方案-HDFS-费元星
元星的博客，一起努力呀
04-10 2477
另外鼓励大家对每个知识点都先去源码里搜一下。有几个点非常重要：1.源码中的错误提示是非常系统的，因为什么原因报了什么错，而网站搜索的结果，非常片面，而且人人云亦云。-- 费元星。
hive on spark 和 sparksql
02-08
### 比较 Hive on Spark 和 SparkSQL #### 区别 Hive on Spark 是一种允许 Hive 使用 Spark 作为其执行引擎的方式，而不是默认的 MapReduce 执行引擎。这种方式使得 Hive 可以利用 Spark 更高效的内存管理和并行处理机制来提升查询性能[^1]。 另一方面，SparkSQL 提供了一个更全面的数据处理框架，它不仅能够读取和写入 Hive 表，还可以支持多种其他数据源，并提供了丰富的 API 来操作结构化数据。此外，SparkSQL 还引入了自己的优化器 Catalyst，这有助于进一步提高查询效率[^2]。 #### 性能差异 当涉及到性能方面时，在大多数情况下，由于 Spark 的内存计算特性，无论是 Hive on Spark 或者纯 SparkSQL 查询都比传统的基于 MapReduce 的 Hive 查询要快得多。然而，两者之间的相对表现取决于具体的使用案例： - 对于简单的 SQL 查询，如果这些查询可以直接映射到 HiveQL 而不需要额外的功能，则 Hive on Spark 可能会显示出更好的兼容性和相似甚至稍好的性能。 - 当涉及复杂分析任务或需要更多高级功能（如窗口函数、UDF 用户定义函数等），则 SparkSQL 往往表现出更强的能力，因为它拥有更加灵活且强大的API集合以及内置的支持[^3]。 #### 应用场景 选择哪一个解决方案应该依据实际需求考虑如下因素： - **现有基础设施**：如果你已经有了成熟的 Hive 生态环境并且希望最小化迁移成本，那么可以选择 Hive on Spark；反之，如果没有特别的历史包袱或者正在构建新的应用，则可以优先考虑 SparkSQL[^4]。 - **查询复杂度**：对于较为复杂的ETL流程或是数据分析工作负载来说，SparkSQL 凭借着更为先进的特性和更高的灵活性通常是更好的选项。 - **社区和支持**：考虑到长期维护和技术演进的角度出发，Apache Spark 社区非常活跃，这意味着 SparkSQL 将持续获得改进和发展，相比之下，虽然 Hive on Spark 同样得到了一定关注，但在某些特定领域内可能不如前者那样具有优势。 ```sql -- 示例 Hive on Spark 查询语句 SELECT * FROM table_name WHERE condition; -- 示例 SparkSQL 查询语句 spark.sql("SELECT * FROM table_name WHERE condition") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值