【优化】Hive常用参数优化

原创

已于 2022-08-26 15:03:00 修改

· 619 阅读

版权

文章标签：

于 2022-08-26 14:57:28 首次发布

本文介绍了Hive性能优化的几个重要参数，包括启用本地模式、设置为严格模式以增强安全性，优化动态分区、内存中缓存小表、调整bucket join、控制mapper和reducer数量，以及解决group by数据倾斜问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、使用本地模式执行

set hive.exec.mode.local.auto=true

2、将Hive设置为“严格”模式

set hive.mapred.mode=strict

备注：strict（严格）、nonstrict（非严格）

3、动态分区属性

属性名称	缺省值	描述
hive.exec.dynamic.partition	false	设置成true，表示开启动态分区功能
hive.exec.dynamic.partition.mode	strict	设置成nonstrict,表示允许所有分区都是动态的
hive.exec.max.dynamic.partitions.pernode	100	每个mapper或reducer可以创建的最大动态分区个数。如果某个mapper或reducer尝试创建大于这个值的分区的话则会抛出一个致命错误信息