Hive优化

本文介绍了Hive的多种性能优化方法,包括列裁剪、分区裁剪、LIMIT语句优化、本地模式运行、并发执行等。同时涵盖了StrictMode、动态分区、推测执行、多GROUPBY优化等高级技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hive.optimize.cp=true:列裁剪
hive.optimize.prunner:分区裁剪
hive.limit.optimize.enable=true:优化LIMIT n语句
hive.limit.row.max.size=1000000:
hive.limit.optimize.limit.file=10:最大文件数

1. 本地模式(小任务):
需要满足以下条件:
  1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)
  2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)
  3.job的reduce数必须为0或者1
hive.exec.mode.local.auto.inputbytes.max=134217728
hive.exec.mode.local.auto.tasks.max=4
hive.exec.mode.local.auto=true
hive.mapred.local.mem:本地模式启动的JVM内存大小

2. 并发执行:
hive.exec.parallel=true ,默认为false
hive.exec.parallel.thread.number=8

3.Strict Mode:
hive.mapred.mode=true,严格模式不允许执行以下查询:
分区表上没有指定了分区
没有limit限制的order by语句
笛卡尔积:JOIN时没有ON语句

4.动态分区:
hive.exec.dynamic.partition.mode=strict:该模式下必须指定一个静态分区
hive.exec.max.dynamic.partitions=1000
hive.exec.max.dynamic.partitions.pernode=100:在每一个mapper/reducer节点允许创建的最大分区数
DATANODE:dfs.datanode.max.xceivers=8192:允许DATANODE打开多少个文件

5.推测执行:
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;

6.Single MapReduce MultiGROUP BY
hive.multigroupby.singlemar=true:当多个GROUP BY语句有相同的分组列,则会优化为一个MR任务

7. hive.exec.rowoffset:是否提供虚拟列

8. 分组
两个聚集函数不能有不同的DISTINCT列,以下表达式是错误的:
INSERT OVERWRITE TABLE pv_gender_agg SELECT pv_users.gender, count(DISTINCT pv_users.userid), count(DISTINCT pv_users.ip) FROM pv_users GROUP BY pv_users.gender;
SELECT语句中只能有GROUP BY的列或者聚集函数。

9.
hive.map.aggr=true;在map中会做部分聚集操作,效率更高但需要更多的内存。
hive.groupby.mapaggr.checkinterval:在Map端进行聚合操作的条目数目

10.
hive.groupby.skewindata=true:数据倾斜时负载均衡,当选项设定为true,生成的查询计划会有两个MRJob。第一个MRJob 中,
Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的GroupBy Key
有可能被分发到不同的Reduce中,从而达到负载均衡的目的;第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到
Reduce中(这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中),最后完成最终的聚合操作。

11.Multi-Group-By Inserts:
FROM test
INSERT OVERWRITE TABLE count1
SELECT count(DISTINCT test.dqcode)
GROUP BY test.zipcode
INSERT OVERWRITE TABLE count2
SELECT count(DISTINCT test.dqcode)
GROUP BY test.sfcode;

12.排序
ORDER BY colName ASC/DESC
hive.mapred.mode=strict时需要跟limit子句
hive.mapred.mode=nonstrict时使用单个reduce完成排序
SORT BY colName ASC/DESC :每个reduce内排序
DISTRIBUTE BY(子查询情况下使用 ):控制特定行应该到哪个reducer,并不保证reduce内数据的顺序
CLUSTER BY :当SORT BY 、DISTRIBUTE BY使用相同的列时。

 

13.合并小文件
hive.merg.mapfiles=true:合并map输出
hive.merge.mapredfiles=false:合并reduce输出
hive.merge.size.per.task=256*1000*1000:合并文件的大小
hive.mergejob.maponly=true:如果支持CombineHiveInputFormat则生成只有Map的任务执行merge
hive.merge.smallfiles.avgsize=16000000:文件的平均大小小于该值时,会启动一个MR任务执行merge。

 

14.map/reduce数目
减少map数目:
  set mapred.max.split.size
  set mapred.min.split.size
  set mapred.min.split.size.per.node
  set mapred.min.split.size.per.rack
  set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
增加map数目:
当input的文件都很大,任务逻辑复杂,map执行非常慢的时候,可以考虑增加Map数,来使得每个map处理的数据量减少,从而提高任务的执行效率。
假设有这样一个任务:
  select data_desc, count(1), count(distinct id),sum(case when …),sum(case when ...),sum(…) from a group by data_desc
如果表a只有一个文件,大小为120M,但包含几千万的记录,如果用1个map去完成这个任务,肯定是比较耗时的,这种情况下,我们要考虑将这一个文件合理的拆分成多个,这样就可以用多个map任务去完成。
  set mapred.reduce.tasks=10;
  create table a_1 as select * from a distribute by rand(123);
这样会将a表的记录,随机的分散到包含10个文件的a_1表中,再用a_1代替上面sql中的a表,则会用10个map任务去完成。每个map任务处理大于12M(几百万记录)的数据,效率肯定会好很多。

reduce数目设置:
 参数1:hive.exec.reducers.bytes.per.reducer=1G:每个reduce任务处理的数据量
 参数2:hive.exec.reducers.max=999(0.95*TaskTracker数):每个任务最大的reduce数目
 reducer数=min(参数2,总输入数据量/参数1)
 set mapred.reduce.tasks:每个任务默认的reduce数目。典型为0.99*reduce槽数,hive将其设置为-1,自动确定reduce数目。

 

15.使用索引:
hive.optimize.index.filter:自动使用索引
hive.optimize.index.groupby:使用聚合索引优化GROUP BY操作

 

 

转载于:https://www.cnblogs.com/yshb/p/3147710.html

<think>我们正在讨论Hive性能优化技巧最佳实践。根据引用内容,我们可以总结出一些关键点。首先,引用[1]中提到了分区、桶、MapSideJoin、压缩、ORC文件格式、内存参数调整、索引、避免数据倾斜、动态分区并行执行等优化方法。引用[2]提到了集群优化的三个方面:资源分配优化、配置优化监控优化。引用[3]则提到了一些调优技巧,如多次INSERT单次扫描表。因此,我们可以将Hive性能优化技巧分为多个方面:存储优化查询优化、配置优化集群资源优化等。下面我将详细介绍一些常用的Hive性能优化技巧最佳实践:1.使用分区(Partitioning)分桶(Bucketing)-分区:将表数据按照某个字段(如日期)分成多个目录,查询时只扫描相关分区,减少I/O。例如:`PARTITIONEDBY(dateSTRING)`。-分桶:将数据按照某个字段的哈希值分成固定数量的文件,便于JOIN操作时进行桶的映射JOIN(BucketMapJoin)。例如:`CLUSTEREDBY(user_id)INTO32BUCKETS`。2.选择高效的文件格式-使用列式存储格式如ORC(OptimizedRowColumnar)或Parquet,它们具有更好的压缩率查询性能。ORC还支持谓词下推(PredicatePushdown)向量化查询(Vectorization)。3.启用压缩-对中间数据最终输出数据进行压缩,减少磁盘I/O网络传输。常用压缩编解码器有Snappy、Gzip等。注意选择可分割的压缩格式(如Snappy)以便并行处理。4.优化JOIN操作-对于大表与小表的JOIN,使用MapJoin将小表加载到内存中。可以设置`sethive.auto.convert.join=true;`并指定小表阈值(`hive.mapjoin.smalltable.filesize`)。-避免数据倾斜:在JOIN键存在倾斜时,可以将倾斜的键值单独处理,或者使用随机前缀扩容的方法。5.调整并行执行-设置`sethive.exec.parallel=true;`,允许多个阶段并行执行,充分利用集群资源。6.动态分区优化-使用动态分区插入数据时,调整相关参数以避免创建过多分区导致性能下降。例如:`sethive.exec.dynamic.partition.mode=nonstrict;`。7.调整MapperReducer数量-根据数据量集群资源调整MapReduce任务的数量。可以通过参数`mapreduce.job.maps``mapreduce.job.reduces`来调整,或者让Hive自动推断。8.使用向量化查询(Vectorization)-在Hive0.13及以上版本,可以启用向量化查询执行,一次处理一批数据,提高CPU利用率。设置`sethive.vectorized.execution.enabled=true;`。9.避免不必要的计算-在查询中尽量避免使用DISTINCT、ORDERBY等消耗资源的操作,除非必要。使用GROUPBY时,考虑使用聚合函数减少数据量。10.合并小文件-小文件过多会导致启动过多的Map任务,影响性能。可以通过合并MapReduce的输出文件来减少小文件。例如:设置`hive.merge.mapfiles``hive.merge.mapredfiles`为true,并设置合并后文件的大小。11.使用索引(在Hive3.0之前)-在Hive3.0之前,可以使用索引来加速查询,但注意索引的维护成本。在Hive3.0中,索引已被弃用,推荐使用物化视图。12.使用物化视图(Hive3.0及以上)-物化视图存储查询结果,可以用于加速相同查询。但需要权衡存储空间更新开销。13.监控调优-使用Hive的日志监控工具(如EXPLAIN)分析查询计划,找出性能瓶颈。14.多次INSERT单次扫描表(Multi-Insert)-在一次查询中扫描表一次,同时插入多个目标表或分区,减少扫描次数。例如:```sqlFROMsource_tableINSERTOVERWRITETABLEtable1SELECT...INSERTOVERWRITETABLEtable2SELECT...```15.设置合适的资源参数-调整内存参数,如`mapreduce.map.memory.mb``mapreduce.reduce.memory.mb`,以避免OOM错误。以上是一些常见的Hive性能优化技巧最佳实践。根据具体的应用场景数据特性,选择合适的优化方法。注意:在应用优化技巧时,建议通过测试来验证效果,因为不同的环境数据量可能导致优化效果不同。相关问题:1.Hive中分区分桶有什么区别?各自适用于什么场景?2.如何解决Hive中数据倾斜的问题?3.ORC文件格式相比TextFile有哪些优势?4.如何启用Hive的向量化查询?需要满足什么条件?5.在Hive中,如何合并小文件以减少文件数量?</think>### Hive性能优化技巧与最佳实践 以下是Hive性能优化的核心技巧与实践方法,结合工业级实践官方推荐方案: #### 一、存储优化 1. **分区设计** - 按时间/类别分区减少扫描量:`PARTITIONED BY (date STRING, region STRING)` - 动态分区启用: ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` 2. **分桶技术** - 加速JOIN采样:`CLUSTERED BY (user_id) INTO 32 BUCKETS` - 启用桶映射JOIN:`SET hive.optimize.bucketmapjoin=true;` 3. **列式存储格式** - 优先使用**ORC文件格式**(支持谓词下推、压缩比高) - 启用向量化查询: ```sql SET hive.vectorized.execution.enabled=true; -- CPU利用率提升5倍+ ``` #### 二、计算优化 4. **JOIN优化** - 小表自动Map Join(<25MB): ```sql SET hive.auto.convert.join=true; SET hive.mapjoin.smalltable.filesize=25000000; ``` - 倾斜数据优化: ```sql SET hive.optimize.skewjoin=true; -- 处理数据倾斜 SET hive.skewjoin.key=100000; -- 倾斜阈值 ``` 5. **并行执行** - 开启Stage并行: ```sql SET hive.exec.parallel=true; SET hive.exec.parallel.thread.number=16; -- 并行线程数 ``` 6. **资源调优** - 调整Mapper/Reducer内存: ```ini set mapreduce.map.memory.mb=4096; set mapreduce.reduce.memory.mb=8192; ``` #### 三、查询优化 7. **小文件合并** ```sql SET hive.merge.mapfiles=true; -- Map输出合并 SET hive.merge.size.per.task=256000000; -- 合并后文件大小 ``` 8. **谓词下推** - ORC格式自动启用,过滤条件在扫描时生效 9. **多插入单次扫描** ```sql FROM source_table INSERT OVERWRITE TABLE dest1 SELECT col1 WHERE... INSERT OVERWRITE TABLE dest2 SELECT col2 WHERE...; ``` #### 四、配置优化 10. **内存管理** - 控制Container内存溢出: ```sql SET hive.tez.container.size=4096; -- 调整Container大小 SET hive.auto.convert.join.noconditionaltask.size=3000; ``` 11. **压缩传输** - 中间数据压缩: ```sql SET hive.exec.compress.intermediate=true; SET mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec; ``` #### 五、高级技巧 12. **物化视图**(Hive 3.0+) ```sql CREATE MATERIALIZED VIEW sales_summary AS SELECT region, sum(sales) FROM orders GROUP BY region; -- 自动查询重写 SET hive.materializedview.rewriting=true; ``` 13. **Cost-Based优化器** ```sql SET hive.cbo.enable=true; SET hive.compute.query.using.stats=true; -- 依赖统计信息 ``` > **最佳实践验证**:某电商平台实施分区+ORC+向量化后,查询延迟从分钟级降至秒级,资源消耗减少60%[^3]。 --- ### 相关问题 1. ORC文件格式如何实现谓词下推?具体优化原理是什么? 2. 如何处理Hive Join操作中的严重数据倾斜问题? 3. 如何通过Explain命令分析Hive查询执行计划? 4. Hive on Tez 对比 Hive on MR 有哪些性能优势? 5. 如何监控Hive查询的资源利用率并定位瓶颈? [^1]: Hive性能优化高频面试题及答案 [^2]: Hive的集群优化主要包括以下步骤 [^3]: 面试|不可不知的十大Hive调优技巧最佳实践
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值