【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

已于 2023-03-21 10:18:39 修改
阅读量3.4k 收藏 6
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Apache Spark Apache Hive 架构设计 文章标签： 大数据 数据仓库 hive spark
于 2023-03-13 11:46:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/129447984
本文深入探讨了Hive SQL的基本概念、适用场景及其与关系型数据库的区别，同时介绍了Spark SQL的特点，包括与Spark集成、统一数据访问、Hive兼容性和性能优势。接着，讲解了Hive on Spark SQL的引入，旨在提升Hive查询性能。最后，分析了Hive SQL和Spark SQL的相同点和不同点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.Hive SQL

1.1 基本介绍

概念

Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。

Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能

本质：将Hive SQL转化成MapReduce程序。

与关系型数据库的对比

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive On Spark & SparkSQL On Hive 笔记
大数据研究小白
08-24 773
Hive On Spark & SparkSQL On Hive
hive进阶--调优、源码、debug调试方法
Tongya1998的博客
07-17 1116
hive进阶学习、通过源码更好的了解Hive
SparkSQL和hive on Spark
weixin_33774308的博客
11-28 262
SparkSQL简介 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为Shark对于Hive...
Hive on Spark 与Spark SQL比较
u010385646的专栏
11-17 7047
Hive on Spark 与Spark SQL比较背景Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和
浅谈spark sql、hive on spark、spark on hive
ergouy's blog
09-16 1037
主要讨论spark sql、hive on spark、spark on hive的区别
SparkSql On Hive
难得糊涂
05-08 969
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1498
hive on spark的整合配置及具体实现文档
Hive On Spark和SparkSQL
weixin_34198453的博客
03-27 306
SparkSQL和Hive On Spark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。这是Spark官方Databricks的项目，Spark项目本身主推的SQL实现。Hive On Spark比SparkSQL稍晚。Hive原本是没有很好支持MapReduce之外的引擎的，而Hive On Tez项目让H...
hive sql 和 spark sql的区别
weixin_45266691的博客
01-10 3677
总体而言，Spark SQL 在性能和灵活性上相对于 Hive SQL 有一些优势，特别是在需要处理实时数据或采用交互式查询的场景中。然而，选择使用哪个工具还取决于具体的业务需求、数据规模和现有的基础设施。Hive Metastore 或其他元数据管理工具。
SparkSQL（三）——SparkSQL与Hive的关系
chaohui2638457321的博客
12-23 1146
Hive 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(hive)或者使用JDBC服务(hiveserver2)连接Hive集群，将HQL提交到集群通过MapReduce运行 SparkSQL 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(spark-sql)或者使用JDBC服务(thrif
Hive，Hive on Spark和SparkSQL区别
m0_61607827的博客
03-17 2115
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析 Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语句给 Driver Step 2：Driver 为查询语句创建会话句柄，并将查询语
Hive on Spark 和 Spark sql on Hive，你能分的清楚么
weixin_43770745的博客
09-26 996
结构上 Hive On Spark 和 SparkSQL 都是一个翻译层，把一个 SQL 翻译成分布式可执行的 Spark 程序。Hive 和 SparkSQL 都不负责计算。Hive 的默认执行引擎是 mr，还可以运行在 Spark 和 Tez。Spark 可以连接多种数据源，然后使用 SparkSQL 来执行分布式计算。（1）首先安装包要选择对，否则就没有开始了。Hive 版本:apache-hive-2.1.1-bin.tar。
总结：Hive，Hive on Spark和SparkSQL区别
MrLevo520的博客
08-04 4万+
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析Step 1：UI(user interface) 调用 executeQuery 接口，发送 H
Spark SQL和Hive SQL 的对比
最新发布
代妈炼金术师
02-19 1428
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分析任务。
Hive on Spark and Spark sql on Hive
代灿灿灿的博客
03-29 3130
结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-...
SparkSQL与Hive on Spark的比较
热门推荐
在路上的学习者
05-18 7万+
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用
Spark SQL 与 HIVE异同
dragon_blog的博客
11-10 1539
hive spark
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值