hive调优汇总

最新推荐文章于 2024-04-13 20:49:38 发布
最新推荐文章于 2024-04-13 20:49:38 发布
阅读量255 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hive 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42277332/article/details/115621000
  • mapjoin：默认打开
  • 行列技术：join where => where + join
  • 采用分区
  • 列存储（加快查询速度）
  • 压缩（减少磁盘IO）
  • 合理设置map个数
    块大小：max(1, min(快大小，Long的最大值))
    块大小一般设置128m数据 =》1个maptask
  • distribute by rand()，将数据随机分区，保证每个分区的数据流基本一致
  • 合理设置reduce个数；可以根据数据量适当增加reduce个数；
  • 小文件如何产生？
    • 动态分区
    • reduce个数设置的过多;分区的key设置的不合理
    • 输入源本身就是小文件
  • 解决小文件问题
    • combinehiveInputformat 合并
    • 开启JVM重用
    • merge 如果是maponly任务，默认功能打开
      执行完任务，产生小文件，再开启一个作业，这个作业负责将默认小于16m的文件进行合并，默认合并到256m
    • 如果是mr任务。merge功能需要打开
  • 在map阶段开启combiner
    set hive.map.aggr = true
  • 替换引擎
    • mr引擎：基于磁盘； 速度慢 跨天，数据量比较大的场景
    • tez引擎：基于内存； 速度快 数据量比较小，临时测试，验证
    • spark引擎：基于磁盘 + 内存 速度较快 当天的定时任务
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 1214
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案
老姜的数据江湖
10-27 2157
hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法层面调优。上一篇可点击hive建表设计层面调优 一.hive语法层面和参数调优 hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。 1.1查看hive执行计划 Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过 程，可以在SQL语句中输入如下命令查看具体的执行计划。 ##查看执
请问：hive中avg聚合函数会使用到combiner功能吗？
weixin_33795806的博客
11-23 850
例如下面这条SQL， 肯定是用上了combiner功能的 select deptno, sum(sal) as sum_sal from emp group by deptno hive (test)> explain select deptno, sum(sal) as sum_sal from emp group by deptno; ...
Hive--数据倾斜以及解决方案
ITgagaga的博客
10-20 484
数据倾斜 一：什么是数据倾斜？ ​ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 ，简单来说就是大量相同的key被partition到同一个分区里面导致某些或者某个reducetask压力过大,而一些reducetask闲住。这样也违背了并行计算的初衷。 二：数据倾斜的主要表现？ ​ 任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce 子任...
Hive两大优化类型（详解）
中长跑路上的crush
10-21 156
hive优化。
山大软工实践hive(6)-逻辑优化(2)
meloneatingguy的博客
11-01 1236
2021SC@SDUSC 山大软工实践(6)-逻辑优化(2) 文章目录山大软工实践(6)-逻辑优化(2)接着上一次GroupBy预聚合数据倾斜处理关于预聚合能否用于处理数据倾斜join优化数据倾斜处理源码分析部分参考 接着上一次 各种优化有相关的配置文件 GroupBy 预聚合 在map端使用combiner预聚合数据以减少shuffle数据量，这对大量数据处理有帮助 数据倾斜处理 为防止大量数据的key相同导致分配任务时的数据倾斜，两阶段聚合数据 原理是启动两个MapReduce任务，第一个任务mappe
Hive中的基本优化 + 索引优化 + 数据倾斜优化
机械工程跑路哥
09-01 999
运行的过程当中，有多个Reduce，每个Reduce拿到的数据不均匀，其中有一个或几个拿到的数据远远大于其他reduce拿到的数量，此时任务出现了数据倾斜；
Hive调优
qq_73181349的博客
04-13 1189
Hive调优汇总：分组聚合优化、join优化、数据倾斜优化、任务并行度优化、小文件合并优化等
Hive系列 (十)：Hive调优
Eric Ray的博客
09-09 3236
Hive优化详细解释
Hive 调优总结，让 Hive 调优想法不再碎片化
javalingyu的博客
04-26 2516
根据 MapReduce 运行全流程，对每个环节进行调优 MapReduce 运行流程图 MapReduce 运行流程关键环节及相关参数 文件输入：对文件进行切片，可设置切片大小，可设置是否合并小文件 Map：Map 数量 = 输入文件切片数量 Map 文件输出：是否合并设置，合并为多大，什么情况下会合并 Reduce: hive 自动计算 reduce 个数 或者 显式指定 reduce 个数 Reduce 文件输出：是否合并，合并为多大，什么情况下合并 最终文件压缩：job 之间
为什么使用Combiner？
qiezikuaichuan的专栏
06-10 2282
从上面的运行结果我们可以得知，combine具体作用如下： 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的ma
hive中的combine_Swift的Combine中的ObservableObject协议是什么？
weixin_26638123的博客
08-27 381
hive中的combineConforming to the ObservableObject protocol provides a handy way to monitor when one of its @Published properties change. However, we can’t know which exact property has changed. It is cr...
hive优化：大表关联数据倾斜问题
03-22 3544
A表：单副本14.9G,1002354875条数据 B表：单副本1.5G，40102307条数据 两个表通过partition_path字符串去full outer join关联，没有优化前执行要88分钟 第一种优化： 在sql结尾使用distribute by rand() ，reduce个数88个，但是还是有数据倾斜 select * from A full outer join B on a.partition_path =b.join_path distribute by r...
MapReduce笔记 —— 手动设置多个ReduceTask以及设置Combiner（两种方式运行MapReduce）
一纸春秋的博客
11-21 2223
目录手动设置多个ReduceTask在idea中启动MapReduce手动设置Combiner通过jar包在linux终端执行 手动设置多个ReduceTask 先来看只有一个ReduceTask时的词频统计的结果 当没有手动设置ReduceTask的数量时，默认只有一个reduceTask 数据为 package Demo.mr.WordCount; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWri
13.107.最全的Hive 优化方案汇总：临时参数的作用域、切分大文件、合并小文件、设置 Map 和 Reduce 的内存大小、设置 Map 和 Reduce 的堆大小设置 等
涂作权的博客
08-31 1202
13.107.最全的Hive 优化方案汇总：1.1.8. 临时参数的作用域：1.1.10.切分大文件1.1.11.合并小文件1.1.12.设置 Map 和 Reduce 的内存大小1.1.13.设置 Map 和 Reduce 的堆大小设置1.1.14.开启Combiner功能：在map端预聚合1.1.15.拓扑图，优化并行执行1.1.16. 万能方法1：一个MR，拆成多个（即纵向拆分），为了降低数据倾斜的压力。【比较少用】
Hive调优及参数优化（详细版）
热门推荐
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
Hive优化总结
GodxvA
03-30 8714
一、SQL本身的优化 1、只select需要的列，避免select * 2、where条件写在子查询中，先过滤再关联 3、关联条件写在on中，而不是where中 4、数据量大时，用group by代替count distinct 5、数据量小时，用in代替join 6、避免笛卡尔积 7、join时大表放后面，使用相同的连接键 7、严格格式 Hive.mapred.mode，分 nonstrict，strict，默认是nonstrict， 如果设置为strict，对三种情况限制： （1）分区表必须加分区。
干货：Hive优化与数据倾斜总结！
miaolei1216的博客
12-10 285
Hive优化与数据倾斜 a.优化： 1.使用mapJoin功能，默认为打开状态 2.创建表的时候，采用分区表和分桶表，可以避免全表扫描，加快速度 3.采用行列过滤，join where 改为 先where再join 4.小文件方向： -- JVM重用，重用次数10~20次 -- conbineHiveInputformat合并小文件，可以减少mapTask数量 -- merge（输出时合并小文件） SET hive.merge.mapfiles = true; 默认tr
hive优化需知道的底层知识部分
m0_37604626的博客
11-25 319
1 与会者目标=>今日主题：承认自己的愚蠢，并一直抱有学习的意愿 hive是啥=>MapReduce到hive的执行原理 案例 盲人摸象=>参数调优，执行计划 开发习惯 资料参考 2 理解hive=>MapReduce到hive的执行原理 理解hive hive 建立在Hadoop体系架构上的一层SQL抽象，HiveSQL实际上先被SQL解析器解析后被Hive框架解析成一个MapReduce可执行计划，并按照该计划生成MapReduce任务后交给Hadoop集群处理 Ma.
hive调优
最新发布
03-08
### Hive 性能调优的最佳实践 #### 合理设置执行引擎 为了提升Hive查询的执行效率，可以选择更高效的执行引擎。`hive.execution.engine` 参数决定了使用的执行框架，在处理大规模数据集时推荐采用Tez作为执行引擎[^4]。 ```sql SET hive.execution.engine=tez; ``` 这有助于充分利用集群资源，加速复杂查询过程中的计算任务完成速度。 #### 更新统计信息 利用 `ALTER TABLE` 命令维护表结构的同时也应关注统计数据的准确性。精确的元数据可以帮助Hive编译器构建最优查询计划，进而改善整体性能表现[^1]。 ```sql ANALYZE TABLE table_name COMPUTE STATISTICS; ``` 此命令用于收集有关整个表格的信息；对于分区表，则可通过指定具体分区来获取相应部分的数据特征： ```sql ANALYZE TABLE table_name PARTITION (partition_spec) COMPUTE STATISTICS; ``` #### 维护最新分区信息 针对含有大量分区的大规模分布式存储环境而言，保持最新的分区列表至关重要。定期执行 `MSCK REPAIR TABLE` 可确保新增加或修改过的分区被正确识别并加入到现有架构之中。 ```sql MSCK REPAIR TABLE table_name; ``` #### 减少小文件数量 过多的小型文件会对I/O造成压力，影响读取速率。借助于 `COMPACT` 或者 `OPTIMIZE` 操作可以有效地合并零碎文件片段，降低磁盘访问频率，增强吞吐量。 ```sql ALTER TABLE table_name COMPACT 'MAJOR'; -- OR -- OPTIMIZE table_name ZORDER BY column_list; ``` ZOrdering是一种特别有效的技术，它不仅减少了不必要的Shuffle操作次数，而且还能促进更好的压缩效果。 #### 单次扫描多用途 当面对同一张表需实施多项独立却又相互关联的操作需求时，尽可能尝试一次性完成全部工作流程而非分批逐步推进。这样做的好处是可以节省重复加载相同数据所带来的开销成本，提高总体工作效率[^5]。 例如，可以在同一个CTAS(Create Table As Select)语句里实现过滤、转换以及汇总等多项逻辑运算： ```sql CREATE TABLE new_table AS SELECT * FROM source_table WHERE condition GROUP BY group_columns HAVING having_condition; ``` #### 数据倾斜处理策略 遇到因键分布不均而导致的部分节点负载过重情况时，可以通过调整Join方式（如Map Join）、增加广播变量或是重新分配Key等方式缓解此类现象带来的负面影响。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值