基于hive on Spark 的参数优化

Hive on Spark 参数优化

最新推荐文章于 2025-10-14 19:51:40 发布

原创

最新推荐文章于 2025-10-14 19:51:40 发布 · 798 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive #spark #大数据

基于hive on Spark 的参数优化

set hive.execution.engine=spark;--引擎选择
set spark.executor.memory=8G;--exec memory大小选择
set spark.driver.mermory=4G; --driver memory大小选择</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小王同学_w

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive配置Spark计算引擎，速度快！

子清的博客

02-08

8256

1.1 Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 1.2 Hive on Spark配置 1）兼容性说明注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为

spark的资源调整参数

qq_43688472的博客

09-19

1214

spark.executor.memoryOverhead 每个executor的堆外内存大小，堆外内存主要用于数据IO，对于报堆外OOM的任务要适当调大，单位Mb，与之配合要调大executor JVM参数，例如：set spark.executor.memoryOverhead=3072。–该功能只能控制生成的文件大小尽量接近spark.merge.files.byBytes.fileBytes，且有一定的性能损耗，需根据实测情况选择使用。–输出文件合并 byBytes,该功能会生成两个stage，

1 条评论您还未登录，请先登录后发表或查看评论

Spark on Hive

最新发布

DolphinProMax的博客

10-14

1021

Hive 作为主导框架，将默认计算引擎从 MapReduce 替换为 Spark，即用 Spark 执行 HQL 查询，充分利用 Spark 的内存计算优势提升 Hive 的处理速度。Spark 作为主导框架，通过 Spark SQL 读取 Hive 的元数据（Metastore），直接操作 Hive 中的数据，即用 Spark SQL 处理 Hive 表数据，此时 Hive 仅作为 “元数据管理器” 和 “数据存储层”。维度主导框架Hive（HQL 为入口）

Spark 调优 — 资源调优&参数调优

daoxu_hjl的博客

08-25

2059

spark-submit 参数具体如下： spark-submit \ --queue ${1} \ # 指定资源队列，否则默认default --master yarn --deploy-mode ${2} \ # client or cluster: 选择客户端模式或者集群模式提交：决定driver 是在本地还是集群内节点：cluster模式能够降低本地压力，发挥集群服务器优势 --num-executors ${3} \ # 启动的executor进程数量：50-100个比较合适，具体看可用资源.

Hive on Spark参数调优小结

LittleMagic's Blog

02-27

3080

前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数 spark.executor.cores...

Hive on spark (hive更换spark引擎)

2401_84286677的博客

07-12

496

在hdfs创建日志存储目录上面指定了/spark-history所以创建对应目录。用idea打开源码修改pom.xml文件中的 <spark.version>使用修改过pom文件的jar包安装hive即可使用对应版本的spark。如果不想使用对应版本的spark需要下载对应版本的hive源码。增加以下内容(前提是已经增加了hadoop的环境变量)进入HIVE的安装目录创建spark配置文件。如果有报错按要求解决报错之后打成jar包。指定hadoop路径。

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

05-25

### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...

大数据开发之Hive优化篇-Hive on spark

xinghaoyan的专栏

07-04

589

Hive on Spark将Hive查询引擎与Spark计算框架集成，显著提升查询性能。测试数据显示，相同查询任务从MapReduce的447秒缩短至Spark的71秒，性能提升6倍以上。该项目保留了Hive全部功能特性，同时利用Spark的内存计算优势，实现了对多阶段复杂查询的加速。作为Hive的第三个计算引擎选项，Spark与MapReduce、Tez并存，为用户提供更多选择。这种集成既扩展了Hive的应用场景，又推动了Spark生态的发展，是SQL-on-Hadoop领域的重要技术进步。

Hive On Spark优化

lbg20211023的博客

07-08

964

hive on spark

Spark on Hive 和 Hive on Spark

2401_84052244的博客

08-01

3361

Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。

配置Hive使用Spark执行引擎

积跬步，至千里。

10-10

5670

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

HIVE2.X更换MR为Spark引擎

熊浪的博客

06-21

1742

1、安装Hadoop和HIVE 2、Scala安装 3、下载对应的版本 4、下载对应的Spark的bin包 5、上传解压，文件赋权给HIVE用户 6、编辑配置文件修改HIVE安装目录下的/opt/hive/conf/hive-site.xml文件新增下面的配置修改端口，spark默认使用的端口是8080，根据实际情况修改复制/opt/hive/lib下的jar包到/opt/spark/jars下面复制/opt/spark/jars下的jar包到/opt/hive/lib下面复制/op

配置hive on spark

weixin_56581189的博客

03-15

771

linux虚拟机配置Spark On Hive

hive on spark配置和需要注意的点

qq_46183404的博客

10-17

4448

hive on spark配置和需要注意的点

Hive on spark参数调优

bangqin's blog

11-11

1374

hive on spark参数调优

一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark（亲测有效）

tiantang2renjian的博客

04-24

4281

Hive312的计算引擎由MapReduce(默认)改为Spark

大数据IMF传奇行动绝密课程第74课：Hive on Spark大揭秘

tom_8899_li的博客

03-16

892

Hive on Spark大揭秘hive –metadata & hive hive>set spark.master=spark://Master:7077; hive>set hive.execution.engine=spark; hive> set spark.home=/usr/local/spark/spark-1.6.1-bin-hadoop2.6;本身Hive on Spar

spark on hive 参数

sunxunyong的博客

01-07

512

定义了 Spark 作业中每个 stage 的默认 task 数量。Spark 官方建议的设置原则是，将spark.default.parallelism 设置为 num-executors * executor-cores 的 2 到 3 倍。–多个mapjoin转换为1个时，所有小表的文件大小总和的最大值。–小表的最大文件大小，默认为25000000，即25M。–是否将多个mapjoin合并为一个。–是否自动转换为mapjoin。

hive使用spark引擎的几种情况

u011250186的博客

09-14

3508

使用spark引擎查询hive有以下几种方式： 1>使用spark-sql(spark sql cli) 2>使用spark-thrift提交查询sql 3>使用hive on spark(即hive本身设置执行引擎为spark) 针对第一种情况： 1>ambari 已经支持，不需要特殊配置； 2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-sql和spark-R是阉割版本的，如果需要使用 spark sql cli，需要下载原生的编...

hive on spark中hive的参数优化是否还会生效

12-30

Hive on Spark（也称为SparkSQL或Apache Hive with Spark support）是一种将Apache Hive SQL查询与Apache Spark的计算能力相结合的技术。当在Hive on Spark环境中进行参数优化时，通常是指针对Hive的配置参数进行调整，以便更好地利用Spark的性能优势，比如分区策略、缓存策略等。 Hive自身的参数优化主要包括： 1. `hive.exec.dynamic.partition`: 控制动态分区的行为。 2. `hive.exec.compress.output`: 是否压缩输出数据，可以节省存储空间。 3. `hive.exec.compress.mapoutput`: 对mapreduce作业的输出进行压缩。然而，尽管这些参数是针对Hive查询的，它们的作用在Hive on Spark中可能会有所不同，因为Spark SQL有自己的优化算法和调度机制。例如，Spark SQL允许更细粒度的资源管理，并且它的批处理模式能够自动进行本地化和分区优化。所以，在Hive on Spark中，原生的Hive参数优化仍然会影响查询性能，但可能需要结合Spark的特性进行一些调整。Spark会对查询计划进行优化，比如基于列的过滤和分区，这可能会超过单纯依赖Hive参数的效果。