【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

已于 2023-03-21 10:18:39 修改
阅读量3.4k 收藏 6
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Apache Spark Apache Hive 架构设计 文章标签： 大数据 数据仓库 hive spark
于 2023-03-13 11:46:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/129447984
本文深入探讨了Hive SQL的基本概念、适用场景及其与关系型数据库的区别，同时介绍了Spark SQL的特点，包括与Spark集成、统一数据访问、Hive兼容性和性能优势。接着，讲解了Hive on Spark SQL的引入，旨在提升Hive查询性能。最后，分析了Hive SQL和Spark SQL的相同点和不同点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.Hive SQL

1.1 基本介绍

概念

Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。

Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能

本质：将Hive SQL转化成MapReduce程序。

与关系型数据库的对比

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive On Spark & SparkSQL On Hive 笔记
大数据研究小白
08-24 774
Hive On Spark & SparkSQL On Hive
hive进阶--调优、源码、debug调试方法
Tongya1998的博客
07-17 1116
hive进阶学习、通过源码更好的了解Hive
SparkSQL和hive on Spark
weixin_33774308的博客
11-28 262
SparkSQL简介 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为Shark对于Hive...
Hive on Spark 与Spark SQL比较
u010385646的专栏
11-17 7048
Hive on Spark 与Spark SQL比较背景Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和
浅谈spark sql、hive on spark、spark on hive
ergouy's blog
09-16 1037
主要讨论spark sql、hive on spark、spark on hive的区别
SparkSql On Hive
难得糊涂
05-08 972
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1499
hive on spark的整合配置及具体实现文档
Hive On Spark和SparkSQL
weixin_34198453的博客
03-27 307
SparkSQL和Hive On Spark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。这是Spark官方Databricks的项目，Spark项目本身主推的SQL实现。Hive On Spark比SparkSQL稍晚。Hive原本是没有很好支持MapReduce之外的引擎的，而Hive On Tez项目让H...
hive sql 和 spark sql的区别
weixin_45266691的博客
01-10 3687
总体而言，Spark SQL 在性能和灵活性上相对于 Hive SQL 有一些优势，特别是在需要处理实时数据或采用交互式查询的场景中。然而，选择使用哪个工具还取决于具体的业务需求、数据规模和现有的基础设施。Hive Metastore 或其他元数据管理工具。
SparkSQL（三）——SparkSQL与Hive的关系
chaohui2638457321的博客
12-23 1148
Hive 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(hive)或者使用JDBC服务(hiveserver2)连接Hive集群，将HQL提交到集群通过MapReduce运行 SparkSQL 将库和表的元数据(metadata)存储在关系型数据库(MySQL) 将表的内容数据(data)存储在HDFS 通过命令行终端(spark-sql)或者使用JDBC服务(thrif
Hive，Hive on Spark和SparkSQL区别
m0_61607827的博客
03-17 2115
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析 Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语句给 Driver Step 2：Driver 为查询语句创建会话句柄，并将查询语
Hive on Spark 和 Spark sql on Hive，你能分的清楚么
weixin_43770745的博客
09-26 996
结构上 Hive On Spark 和 SparkSQL 都是一个翻译层，把一个 SQL 翻译成分布式可执行的 Spark 程序。Hive 和 SparkSQL 都不负责计算。Hive 的默认执行引擎是 mr，还可以运行在 Spark 和 Tez。Spark 可以连接多种数据源，然后使用 SparkSQL 来执行分布式计算。（1）首先安装包要选择对，否则就没有开始了。Hive 版本:apache-hive-2.1.1-bin.tar。
总结：Hive，Hive on Spark和SparkSQL区别
MrLevo520的博客
08-04 4万+
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析Step 1：UI(user interface) 调用 executeQuery 接口，发送 H
Spark SQL和Hive SQL 的对比
代妈炼金术师
02-19 1430
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分析任务。
Hive on Spark and Spark sql on Hive
代灿灿灿的博客
03-29 3130
结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-...
SparkSQL与Hive on Spark的比较
热门推荐
在路上的学习者
05-18 7万+
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用
Spark SQL 与 HIVE异同
dragon_blog的博客
11-10 1540
hive spark
spark sql
最新发布
03-09
<think>嗯，用户想了解关于Spark SQL的使用指南和最佳实践。首先，我需要确定用户的具体需求是什么。他们可能刚接触Spark SQL，需要从基础开始，比如安装配置，或者已经有一定基础，想了解更高级的功能和优化技巧。根据提供的引用内容，我需要结合安装配置、核心功能、性能优化等方面来组织回答。 首先，安装配置部分。用户可能需要知道如何在不同环境下安装Spark SQL，比如独立模式或者集成到Hadoop/YARN。引用里提到Spark SQL支持多种数据源，比如Hive表、JSON、CSV等，所以在安装时需要确保这些依赖项正确配置。需要检查Spark的配置文件，比如spark-defaults.conf，设置内存参数，还有如何启用Hive支持。 然后是核心功能和使用方法。用户可能想了解如何创建DataFrame，执行SQL查询，以及如何连接不同的数据源。引用中提到可以使用SparkSQL从现有的Hive安装读取数据，执行SQL查询返回Dataset/DataFrame。这部分需要详细说明，比如使用spark.read.json()加载数据，或者用spark.sql("SELECT ...")执行查询。还要提到Catalyst优化器和Tungsten引擎，因为它们对性能很重要。 接下来是性能优化。引用里提到了广播变量和RDD缓存，这两个都是关键点。广播变量适合用于小表的join，避免shuffle，而缓存可以复用中间数据，减少重复计算。此外，分区和并行度设置也很重要，需要根据数据量和集群资源调整。可能还需要提到序列化格式，比如Parquet或ORC，以及内存管理，避免OOM错误。 最佳实践部分，应该包括数据格式的选择，比如列式存储，以及如何管理执行计划，比如使用explain查看优化后的逻辑。另外，错误处理和数据校验也是用户关心的问题，比如处理缺失数据或schema不一致的情况。 用户可能还会遇到一些常见问题，比如如何调优Spark SQL作业，或者如何处理大数据时的性能瓶颈。需要结合引用中的优化方法，比如缓存、广播变量，以及调整配置参数。同时，引用中提到的流式处理，结合Structured Streaming，可能也是用户感兴趣的部分，可以简要提及实时数据处理的应用。 最后，生成的相关问题需要覆盖用户可能进一步探索的方向，比如Catalyst优化器原理、数据倾斜处理、与其他模块整合等。确保问题能够引导用户深入学习和解决问题。 总结下来，回答的结构应该是：安装配置 -> 核心功能 -> 性能优化 -> 最佳实践 -> 相关问题。每个部分都要结合引用中的内容，确保信息准确，并且提供具体的代码示例帮助用户理解。同时，语言要简洁明了，符合中文表达习惯，避免技术术语过于晦涩。</think># Spark SQL 使用指南与最佳实践 ## 一、安装与基础配置 1. **环境依赖** Spark SQL 需要 Java 8+、Scala 2.12+ 和 Hadoop 2.7+ 环境。安装时需确保： ```bash # 下载预编译版本（含Hive支持） wget https://archive.apache.org/dist/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz tar -xvf spark-3.3.1-bin-hadoop3.tgz ``` 2. **Hive 集成配置** 在 `conf/spark-defaults.conf` 中添加： ``` spark.sql.catalogImplementation=hive spark.sql.warehouse.dir=/user/hive/warehouse ``` 通过 `spark-shell --master yarn` 启动时自动加载 Hive 元数据[^3]。 ## 二、核心功能与基础操作 ### 1. DataFrame 操作 ```python # 从JSON创建DataFrame df = spark.read.json("hdfs://path/to/data.json") df.select("name", "age").filter(df.age > 30).show() # SQL查询 df.createOrReplaceTempView("people") spark.sql("SELECT AVG(age) FROM people WHERE gender='M'").show() ``` 支持结构化文件（JSON/CSV）、Hive 表、JDBC 数据库等数据源[^3]。 ### 2. 流式数据处理 ```scala val streamingDF = spark.readStream .schema(schema) .json("s3://logs/") val query = streamingDF.writeStream .outputMode("append") .format("console") .start() ``` 结合 Structured Streaming 实现实时 ETL[^1]。 ## 三、性能优化实践 ### 1. 内存管理优化 | 参数 | 建议值 | 说明 | |------|--------|------| | `spark.executor.memory` | 集群总内存的 60% | 保留部分内存给OS | | `spark.sql.shuffle.partitions` | 200-1000 | 根据数据量调整 | ### 2. 高级优化技术 - **广播 Join**（适合小表关联）： ```sql SELECT /*+ BROADCAST(small_table) */ * FROM large_table JOIN small_table ON key ``` - **缓存复用**： ```python df.cache() # MEMORY_AND_DISK df.unpersist() ``` 通过缓存中间结果减少重复计算[^4]。 ### 3. 数据存储优化 ```python df.write.parquet("hdfs://output.parquet") # 列式存储 spark.read.parquet("hdfs://input.parquet") ``` 建议优先使用 Parquet/ORC 格式，压缩率可达 70%+。 ## 四、最佳实践指南 1. **执行计划分析** ```python df.explain(mode="formatted") # 查看优化后逻辑计划 ``` 2. **错误处理** - 使用 `na.fill()` 处理空值 - 通过 `withColumn` 添加数据校验逻辑 3. **资源监控** ```bash spark-submit --conf spark.metrics.conf=/path/to/metrics.properties ``` 配合 Grafana 监控 GC 时间/Shuffle 量等指标。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值