Hive调优

最新推荐文章于 2024-09-29 16:59:10 发布

彼山有桥

最新推荐文章于 2024-09-29 16:59:10 发布

阅读量693

点赞数 1

文章标签： hive hadoop big data

本文链接：https://blog.youkuaiyun.com/m0_61276219/article/details/123183443

版权

本文介绍了Hive的优化技巧，包括Fetch抓取优化、表的优化（Join、Group By、Count(distinct)等）、数据倾斜处理、使用EXPLAIN分析执行计划、并行执行、严格模式、JVM重用和推测执行等，旨在提升Hive查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 Fetch抓取（Hive可以避免进行MapReduce）

1.1 hive.fetch.task.conversion设置成more

把hive.fetch.task.conversion设置成more，然后执行查询语句，在全局查找、字段查找、limit查找等都不走mapreduce。

set hive.fetch.task.conversion=more;

1.2 本地模式

当Hive的输入数据量非常小时，为避免出现配置maptask比数据运行时间还长，可以通过设置hive.exec.mode.local.auto的值为true，来让Hive在适当的时候自动启动这个优化。

set hive.exec.mode.local.auto=true;  //开启本地mr
//设置local mr的最大输入数据量，当输入数据量小于这个值时采用local  mr的方式，默认为134217728，即128M
set hive.exec.mode.local.auto.inputbytes.max=51234560;
//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4
set hive.exec.mode.local.auto.input.files.max=10;