【大数据技术干货】集群中hive的企业级调优策略的五种出发点：1 Fetch抓取，2本地模式，3表的优化，4数据倾斜，5严格模式

牵牛刘先生

于 2019-12-22 23:35:22 发布

阅读量170

点赞数

CC 4.0 BY-SA版权

分类专栏：物联网&大数据知识的思考，总结和拓展文章标签：大数据 hive hdfs hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/liuchunhang/article/details/103658643

物联网&大数据知识的思考，总结和拓展专栏收录该内容

23 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了Hive在企业级应用中的调优策略，包括Fetch抓取、本地模式的使用，以及表的优化、数据倾斜处理和严格模式的开启，旨在提升Hive查询效率和性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive企业级调优

1 Fetch抓取

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

hive.fetch.task.conversion
more

Expects one of [none, minimal, more].
Some select queries can be converted to single FETCH task minimizing latency.
Currently the query should be single sourced not having any subquery and should not have
any aggregations or distincts (which incurs RS), lateral views and joins.
0. none : disable hive.fetch.task.conversion