Hive on Spark 调优

最新推荐文章于 2025-02-08 17:25:23 发布
原创 最新推荐文章于 2025-02-08 17:25:23 发布 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive on Spark

本文分享了Hive on Spark相较于Hive on MR的性能优势，指出Hive on Spark不仅性能更佳，还完全兼容Hive的功能，包括UDF函数支持。文章提供了Hive on Spark的调优技巧，无需修改SQL即可提升查询效率。

hive on spark 性能远比hive on mr 要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hive on spark。 udf函数也是全部支持。个人觉得还不错的一篇Hive on Spark 调优，做个记录

原文见：https://mp.weixin.qq.com/s/ITwwTDkWVwToshjHQEp5Dg

Hive on Spark生产调优之内存管理
数据与算法架构提升之路专栏
04-28 3233
之前在Hive on Spark跑测试时，100g的数据量要跑⼗⼏个⼩时，⼀看CPU和内存的监控，发现 POWER_TEST阶段（依次执⾏30个查询）CPU只⽤了百分之⼗⼏，也就是没有把整个集群的性能利⽤起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最⼤性能显得尤为重要。
Hive On Spark优化
lbg20211023的博客
07-08 967
hive on spark
Hive On Spark 调优
蝈蝈
11-22 1244
1 Hive整体调优 mapreduce.input.fileinputformat.split.maxsize=750000000 hive.cbo.enable=true 默认false hive.orc.splits.include.file.footer=false hive.merge.sparkfiles=false 默认true hive.merge.orcfile.stripe.level=true hive.auto.convert.join.noconditionaltask=true
Hive on Spark优化
lihuazaizheli的博客
02-04 846
Spark性能调优完整版
Hive on Spark参数调优小结
LittleMagic's Blog
02-27 3115
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数 spark.executor.cores...
Hive on Spark调优（大数据技术6）
zy345293721的博客
05-19 1387
若参与join的表均为分桶表，且关联字段为分桶字段，且分桶字段是有序的，且大表的分桶数量是小表分桶数量的整数倍。此时，就可以以分桶为单位，为每个Map分配任务了，Map端就无需再缓存小表的全表数据了，而只需缓存其所需的分桶。Map端负责读取参与join的表的数据，并按照关联字段进行分区，将其发送到Reduce端，Reduce端完成最终的关联操作。若参与join的表中，有n-1张表足够小，Map端就会缓存小表全部数据，然后扫描另外一张大表，在Map端完成关联操作。162900000000（约160g）
大数据技术之Hive on Spark调优
最新发布
weixin_42158569的博客
02-08 634
hive 优化教程
hive on spark 调优
08-24
- *2* [Hive on Spark调优](https://blog.youkuaiyun.com/javastart/article/details/126041883)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_...
精选资源
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
Hive-on-Spark调优
S1124654的博客
07-22 1832
Hive-on-Spark调优
Hive on Spark调优（大数据技术3）
zy345293721的博客
05-17 1353
在将NodeManager的总内存平均分配给每个Executor，最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。动态分配可根据一个Spark应用的工作负载，动态的调整其所占用的资源（Executor个数）。此处的Executor个数是指分配给一个Spark应用的Executor个数，Executor个数对于Spark应用的执行速度有很大的影响，所以Executor个数的确定十分重要。
Hive on Spark调优
LINBE_blazers的博客
04-10 1224
hive on spark性能远比hiveonmr要好，而且提供了一样的功能。用户的 SQL 无需修改就可以直接运行于 hive on spark ，udf函数也是全部支持的。本文主要讲的是 hive on spark在运行于 yarn模式的情况下如何调优（下文举例讲解的 yarn节点机器配置，假设有32核，120G内存） 1yarn配置 yarn.nodemanage...
Hive on Spark 参数调优详解
qq_44326412的博客
10-14 2927
Hive on Spark 参数调优详解
hive on spark优化
炼数成器
11-20 3110
spark配置参数 spark.executor.cores 表示每个Executor可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition。设定在3~6之间比较合理。 spark.executor.memory/spark.yarn.executor.memoryOverhead 这两个参数分别表示每个Executor可利用的堆内内存量和堆外内存量。堆内内存越大，Executor就能缓存更多的数据，在做诸如map
【Spark精讲】Spark on Hive性能优化
话数Science
01-04 2540
【Spark精讲】Spark on Hive性能优化 第一章 1.1 集群配置概述 1.2 集群规划概述 第二章 Yarn配置 2.1 Yarn配置说明 yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores yarn.scheduler.maximum-allocation-mb yarn.scheduler.minimum-allocation-mb 第三章 Spark的配置说明
Hive（on spark）优化
xiaohu的博客
07-29 3910
Hive本身将SQL转化为M/R执行任务 1、列裁剪 hive.optimize.cp=true（默认值为真） Hive 在读数据的时候，可以只读取查询中所需要用到的列，而忽略其它列。 2、分区裁剪 hive.optimize.pruner=true（默认值为真） 可以在查询的过程中减少不必要的分区。 将分区条件条件放入子查询中更为高效，可以减少读入的分区 数目。 Hive 自动执行这种裁剪优化。 3、JOIN操作优化 在编写带有 join 操作的代码语句时，应该将条目少的表/子查询放在 Join 操作符.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值