hive企业级调优策略之CBO,谓词下推等优化

最新推荐文章于 2025-03-22 12:50:02 发布
最新推荐文章于 2025-03-22 12:50:02 发布
阅读量1.8k 收藏 24
点赞数 20
分类专栏： hive 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_52606060/article/details/135088328
版权
本文介绍了Hive的CBO优化、谓词下推、矢量化查询、Fetch抓取、本地模式、并行执行和严格模式，展示了如何通过调整参数改善join顺序、减少计算成本和提高查询效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

测试所用到的数据参考：

原文链接：https://blog.youkuaiyun.com/m0_52606060/article/details/135080511
本教程的计算环境为Hive on MR。计算资源的调整主要包括Yarn和MR。

CBO优化

优化说明

CBO是指Cost based Optimizer，即基于计算成本的优化。
在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFS IO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。目前CBO在hive的MR引擎下主要用于join的优化，例如多表join的join顺序。
相关参数为：
–是否启用cbo优化

set hive.cbo.enable=true;

优化案例

(1）示例SQL语句

select
    *
from order_detail od
join product_info product on od.product_id=product.id
join province_info province on od.province_id=province.id;

(2）关闭CBO优化
–关闭cbo优化

set hive.cbo.enable=false;

–为了测试效果更加直观，关闭map join自动转换

set hive.auto.convert.join=false;

–增加reduce端容器内存

set mapreduce.reduce.memory.mb=2304;

根据执行计划，可以看出，三张表的join顺序如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(3）开启CBO优化
–开启cbo优化

set hive.cbo.enable=true;

–为了测试效果更加直观，关闭map join自动转换

set hive.auto.convert.join=false;

根据执行计划，可以看出，三张表的join顺序如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(4）总结
根据上述案例可以看出，CBO优化对于执行计划中join顺序是有影响的，其之所以会将province_info的join顺序提前，是因为province info的数据量较小，将其提前，会有更大的概率使得中间结果的数据量变小，从而使整个计算任务的数据量减小，也就是使计算成本变小。

谓词下推

优化说明

谓词下推（predicate pushdown）是指，尽量将过滤操作前移，以减少后续计算步骤的数据量。
相关参数为：
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = true;

需要注意的是：
CBO优化也会完成一部分的谓词下推优化工作，因为在执行计划中，谓词越靠前，整个计划的计算成本就会越低。

优化案例

(1）示例SQL语句

select
    *
from order_detail
join province_info
where order_detail.province_id='2';

(2）关闭谓词下推优化
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = false;

–为了测试效果更加直观，关闭cbo优化

set hive.cbo.enable=false;

通过执行计划可以看到，过滤操作位于执行计划中的join操作之后。
在这里插入图片描述
在这里插入图片描述

(3）开启谓词下推优化
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = true;

–为了测试效果更加直观，关闭cbo优化

set hive.cbo.enable=false;

通过执行计划可以看出，过滤操作位于执行计划中的join操作之前。
在这里插入图片描述
在这里插入图片描述

矢量化查询

Hive的矢量化查询优化，依赖于CPU的矢量化计算，CPU的矢量化计算的基本原理如下图：
在这里插入图片描述

Hive的矢量化查询，可以极大的提高一些典型查询场景（例如scans, filters, aggregates, and joins）下的CPU使用效率。
相关参数如下：

set hive.vectorized.execution.enabled=true;

若执行计划中，出现“Execution mode: vectorized”字样，即表明使用了矢量化计算。
官网参考连接：
https://cwiki.apache.org/confluence/display/Hive/Vectorized+Query+Execution#VectorizedQueryExecution-Limitations

优化案例

(1）示例SQL语句

select province_id,sum(product_num) from order_detail group by province_id;

(2) 关闭矢量化查询

set hive.vectorized.execution.enabled=false;

在这里插入图片描述
在这里插入图片描述

(2) 打开矢量化查询
在这里插入图片描述
在这里插入图片描述

Fetch抓取

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：select * from emp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。
相关参数如下：
–是否在特定场景转换为fetch 任务
–设置为none表示不转换

set hive.fetch.task.conversion=none;

–设置为minimal表示支持select *，分区字段过滤，Limit等

set hive.fetch.task.conversion=minimal;

–设置为more表示支持select 任意字段，过滤，和limit等

set hive.fetch.task.conversion=more;

优化案例

(1）示例SQL语句

select * from order_detail;

(2) --设置为none表示不转换

set hive.fetch.task.conversion=none;

在这里插入图片描述
在这里插入图片描述

(3)–设置为more表示支持select 任意字段,包括函数，过滤，和limit等

set hive.fetch.task.conversion=more;

在这里插入图片描述

本地模式

优化说明

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。
相关参数如下：
–开启自动转换为本地模式

set hive.exec.mode.local.auto=true;

–设置local MapReduce的最大输入数据量，当输入数据量小于这个值时采用local MapReduce的方式，默认为134217728，即128M

set hive.exec.mode.local.auto.inputbytes.max=50000000;

–设置local MapReduce的最大输入文件个数，当输入文件个数小于这个值时采用local MapReduce的方式，默认为4

set hive.exec.mode.local.auto.input.files.max=10;

优化案例

(1）示例SQL语句

select
    count(*)
from product_info
group by category_id;

(2）关闭本地模式

set hive.exec.mode.local.auto=false;

在这里插入图片描述

在这里插入图片描述

(3）开启本地模式

set hive.exec.mode.local.auto=true;

在这里插入图片描述
开启本地模式后如果执行SQL报错，可参考文章：http://t.csdnimg.cn/ZTnZO

并行执行

Hive会将一个SQL语句转化成一个或者多个Stage，每个Stage对应一个MR Job。默认情况下，Hive同时只会执行一个Stage。但是某SQL语句可能会包含多个Stage，但这多个Stage可能并非完全互相依赖，也就是说有些Stage是可以并行执行的。此处提到的并行执行就是指这些Stage的并行执行。相关参数如下：
–启用并行执行优化

set hive.exec.parallel=true;

–同一个sql允许最大并行度，默认为8

set hive.exec.parallel.thread.number=8;

优化案例

(1）示例SQL语句

select
    count(*)
from product_info
group by category_id;

(2）关闭并行执行优化

set hive.exec.parallel=false;

在这里插入图片描述

在这里插入图片描述

(3）启用并行执行优化

set hive.exec.parallel=true;

在这里插入图片描述
在这里插入图片描述

严格模式

Hive可以通过设置某些参数防止危险操作：
(1）分区表不使用分区过滤
将hive.strict.checks.no.partition.filter设置为true时，对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。

hive.strict.checks.no.partition.filter=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

(2）使用order by没有limit过滤
将hive.strict.checks.orderby.no.limit设置为true时，对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reduce中进行处理，强制要求用户增加这个limit语句可以防止Reduce额外执行很长一段时间（开启了limit可以在数据进入到Reduce之前就减少一部分数据）。

hive.strict.checks.orderby.no.limit=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

(3）笛卡尔积
将hive.strict.checks.cartesian.product设置为true时，会限制笛卡尔积的查询。对关系型数据库非常了解的用户可能期望在执行JOIN查询的时候不使用ON语句而是使用where语句，这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况。

hive.strict.checks.cartesian.product=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

(16)Hive——企业调优经验
爱吃辣条的博客
02-14 1749
Hive——企业调优经验
hive高级篇-企业级调优
wang5g的博客
05-10 556
hive高级篇-企业级调优 文章目录hive高级篇-企业级调优前言一、设置分区二、hql语句调优2.1 避免全表扫描2.2 GroupBy2.3 Vectorization2.4 多重模式2.5 in/exist2.6 CBO2.7 Mapjoin2.8 SMB Join2.9开启严格模式3.数据倾斜3.1 key3.2 mapjoin4.job优化4.1 map4.2 reduce4.3不走mr4.4jvm复用 前言 大家基础的hive已经学完，发现hive启用的mr框架，如果没有设置好执行计划或者对m
Hive 通过关闭CBO (Cost based Optimizer) 来优化特定的SQL执行
热门推荐
Harper
01-06 1万+
Hive 自0.14.0开始，加入了一项”Cost based Optimizer”来对HQL执行计划进行优化，这个功能通过”hive.cbo.enable”来开启。在Hive 1.1.0之后，这个feature是默认开启的,它可以自动优化HQL中多个JOIN的顺序，并选择合适的JOIN算法 Join reordering and join algorithm selection are
基于CBO的SQL优化和Oracle实例优化
朱培(知浅_ZLH)
12-08 4184
SQL优化是数据优化的重要方面，本文将分析Oracle自身的CBO优化，即基于成本的优化方法。Oracle为了自动的优化sql语句需要各种统计数据作为优化基础。外面会通过sql的追踪来分析sql的执行过程，消耗的资源信息。对于数据库的性能问题往往是在系统部署一段时间之后出现的，即大量用户开始使用该系统，系统的数据处理量和各种计算复杂性增加的时候，这个时候往往会追溯到系统的初始设计阶段，所以我们还是
数据库CBO执行计划优化器
wangchao2679的博客
03-22 422
数据库，CBO， 执行计划，SQL优化，高斯，Gauss
【大数据之Hive】二十六、HQL之CBO优化、谓词下推、矢量化查询
阿宁的博客
07-20 1473
CBO是指Cost based Optimizer，即基于计算成本的优化。在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFS IO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。目前CBO在hive的MR引擎下主要用于join的优化，例如多表join的join顺序。1、示例SQL语句2、关闭CBO优化根据执行计划，三张表的join顺序如下：3、开启CBO优化根据执行计划，三张表的join顺序如下：4、总结。
基于CBO的优化器
luobida222的专栏
06-02 517
CBO有哪些组件： 查询转化器，代价评估器，计划生成器 CBO如何优化客户端提交的sql https://blog.csdn.net/sdksdk0/article/details/78745507 https://www.cnblogs.com/kerrycode/p/3842215.html 不知道权不权威啊，进度严重落后，还是大量留坑，哎。。。。。 ...
大数据Hive--企业级调优
xd__xy的博客
04-19 1021
Explain呈现的执行计划，由一系列Stage组成，这一系列Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。
hive sql调优
最新发布
06-06
* **谓词下推 (Predicate Pushdown):** 在读取文件时尽早应用过滤条件（`WHERE`中的部分过滤）。 * **索引:** ORC提供了轻量级内部索引（如布隆过滤器）。 * **最佳实践:** 优先选择ORC或Parquet作为生产环境数据...
Apache Hive常见问题
weixin_30777913的博客
12-29 1131
例如，为销售部门的用户定义策略，让他们只能查看本部门相关的销售记录，只需在Sentry策略文件里配置对应SQL谓词，Hive执行查询时，会依据这些策略过滤数据，实现行级别的细粒度访问控制。例如，创建一个自定义的聚合函数来计算一组数字的几何平均数，需要在这些方法中实现相应的计算逻辑。例如，在两张表“orders”（订单表）和“customers”（客户表）进行内连接时，只有当“orders”表中的客户ID和“customers”表中的客户ID相匹配的行才会被返回，相当于求两个集合的交集。
HIVE 0.14 Cost Based Optimizer (CBO) Technical Overview
Mac Track
02-16 1768
Analysts and data scientists⎯not to mention business executives⎯want Big Data not for the sake of the data itself, but for the ability to work with and learn from that data. As other users become more
Hive优化--小技巧
yyGeek的博客
03-06 272
hive优化
mysql cbo优化器_Oracle的RBO/CBO优化器浅析
weixin_34543731的博客
01-27 226
Oracle的优化器有两种优化方式,即基于规则的优化方式(Rule-Based Optimization，简称为RBO)和基于代价的优化方式(Cost-Based OptOracle的优化器有两种优化方式,即基于规则的优化方式(Rule-Based Optimization，简称为RBO)和基于代价的优化方式(Cost-Based Optimization，简称为CBO)，在Oracle8及以后的...
Hive SQL 及 hive参数 优化
m0_47668312的博客
12-29 867
Hive的优化 主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是： 减少数据量（例如分区、列剪裁） 避免数据倾斜（例如加参数、Key打散） 避免全表扫描（例如on添加加上分区等） 减少job数（例如相同的on条件的join放在一起作为一个任务） 1. 使用分区剪裁、列剪裁 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。 select a.* from a left join
基于CBO的SQL优化之统计信息（1）
u010099683的博客
05-22 337
而一旦系统部署好，应用系统本身无法改变，我们只能通过对文件存储做合理分布以减少I/O，对表创建合理的索引、建立分区表等，这样的系统性能优化称为被动的性能调整，而这就是作为DBA大多数的工作内容。统计信息是优化器选择最优执行计划的重要依据之一，统计信息包括表的行数、列的数据分布、索引的高度等等。2、系统资源：考虑系统资源的使用情况，SQL_TRACE主要用于检查数据库的异常情况，通过跟踪数据库的活动，找到有问题的语句；2) FIRST_ROWS_n：输出查询的前n行数据，满足最快响应的查询需求。
Hive 在工作中的调优总结
fx67ll的博客
02-13 955
总结了一下在以往工作中，对于`Hive SQL`调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~
DorisDB之CBO优化器结构原理
大表哥的博客
08-15 3617
1.DorisDB架构 Doris 是分布式、面向交互式查询的分布式数据库，主要部分是 SQL，内部用到 MPP 技术。 所谓MPP ( Massively Parallel Processing )，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源...
【Hive】Hive补充（HcatLog、CBO、压缩方式）
victorzzzz的专栏
07-31 1469
参考《Hive实战》 ASF是一个支持多种软件开发项目的组织 Hive不是数据库，而是一个友好且为我们熟悉的接口，可以查询存储在HDFS上的底层数据文件 SerDe：序列化、反序列化 HCatlog促进了各种Hadoop组件之间实现模式共享，HCatlog的作用包括： 为多种工具提供一种通用模式环境 允许各种工具通过连接器连接，进而从Hive仓库读取数据和向其写入数据 使用户可以.........
华为大数据技术一面
04-27
<think>好的，我现在要处理用户关于华为大数据技术面试的问题。用户希望了解常见的面试问题及解决方案，并且系统提示需要结合之前的引用内容。首先，我需要回忆用户提供的三个引用，看看哪些可以关联上。 引用1提到数据治理的挑战，比如文化阻力、资源分配、数据孤岛等。这可能和大数据平台设计、数据治理相关的问题有关。华为可能会问如何处理数据孤岛或如何实施数据治理，这时候可以引用这些点。 引用2讲的是数据倾斜的定义，常见于处理大数据时的性能问题。数据倾斜是面试中的经典问题，需要解决方案，比如调整分区键或使用Combiner。这里需要结合Hadoop或Spark的数据处理机制。 引用3关于Hive的查询处理流程，涉及查询编译、优化器和物理执行计划。华为可能问Hive优化策略，可以提到谓词下推、MapReduce任务拆分等。 接下来，我需要整理华为大数据面试的常见技术点。通常包括Hadoop生态组件（HDFS、MapReduce、YARN）、Spark、Hive优化、数据倾斜处理、数据治理、实时计算（如Flink）、分布式系统原理等。 然后，结合用户提供的引用，将相关知识点对应起来。例如，数据治理的挑战可以对应到数据治理策略的问题；数据倾斜对应到处理大数据性能优化的方法；Hive的查询流程对应到Hive优化问题。 接下来需要组织回答结构，按照常见问题分类，每个问题给出解决方案，并适当引用提供的资料。比如： 1. 数据倾斜问题：解释现象，引用[2]中的定义，然后给出解决方法如增加随机前缀、使用Combiner等。 2. Hive优化：引用[3]中的优化步骤，如谓词下推、分区剪裁等。 3. 数据治理挑战：引用[1]中的问题，如数据孤岛，技术选型，然后给出解决方案，比如元数据管理、数据标准化。 另外，华为可能关注实际项目经验，需要结合理论解决方案和实际应用案例，比如在项目中如何解决数据倾斜，如何优化Hive查询速度。 需要注意使用中文，数学公式用$...$，独立公式用$$...$$，但用户的问题可能不涉及太多数学，所以可能用不上。不过如果有涉及算法复杂度的话可能需要，比如解释排序算法的时间复杂度。 最后，生成相关问题，比如如何处理数据倾斜，Hive优化方法，数据治理的挑战等，确保问题与回答内容相关，并参考之前的引用。 检查是否符合系统级指令，确保格式正确，没有使用markdown，引用标识正确，比如[^1]、[^2]等。</think>### 华为大数据技术面试常见问题与解决方案 #### 一、数据治理与平台设计 1. **数据孤岛问题** **问题**：如何整合分散在不同系统中的数据？ **解决方案**： - 建立统一元数据管理系统，通过数据湖（如Hudi、Iceberg）实现多源数据统一存储[^1] - 使用ETL工具（如DataX）进行数据清洗和标准化 - 示例：华为FusionInsight平台通过元数据联邦查询整合Hive、HBase等异构数据源 2. **数据治理初期挑战** **问题**：如何说服团队接受数据治理规范？ **解决方案**： - 结合华为内部流程，制定与企业目标对齐的治理指标（如数据质量达标率） - 通过小范围试点展示治理效果（如减少30%重复数据处理时间）[^1] --- #### 二、大数据处理核心问题 1. **数据倾斜（Data Skew）** **问题**：Reduce阶段某些节点负载过高导致任务延迟[^2] **解决方案**： - **预处理**：对Key添加随机前缀（如`salting`），分散数据分布 ```sql -- Hive示例：将key扩展为随机数+原值 SELECT CONCAT(CAST(RAND()*10 AS INT), '_', key) AS new_key, value FROM table; ``` - **运行时优化**：启用Spark的`Combine`预聚合或Flink的`LocalKeyBy`机制 2. **Hive查询优化** **问题**：如何提升HiveQL执行效率？ **解决方案**： - **逻辑优化**：利用谓词下推（Predicate Pushdown）提前过滤数据[^3] - **物理优化**：对JOIN操作使用MapJoin（小表广播），避免Reduce阶段Shuffle - **华为实践**：在FusionInsight中启用CBO（Cost-Based Optimizer）自动选择最优执行计划 --- #### 三、分布式系统原理 1. **CAP理论应用** **问题**：设计分布式存储系统时如何权衡一致性、可用性、分区容忍性？ **解决方案**： - **华为HDFS实践**：强一致性（CP）+ 副本机制（默认3副本）保障可靠性 - **流处理场景**：采用Flink的Exactly-Once语义（CP）与Kafka高吞吐（AP）结合 2. **故障恢复机制** **问题**：如何实现Spark任务容错？ **解决方案**： - **RDD血缘（Lineage）**：通过DAG重新计算丢失分区 - **Checkpointing**：定期将状态持久化到HDFS --- #### 四、实时计算技术 1. **Flink窗口机制** **问题**：如何处理乱序事件流？ **解决方案**： - 使用`Watermark`机制定义事件时间容忍延迟 - 华为增强方案：动态调整Watermark阈值（如网络抖动场景） $$ Watermark(T) = max\_event\_time - delay\_threshold $$ 2. **状态管理** **问题**：如何避免Flink状态爆炸？ **解决方案**： - 设置TTL（Time-To-Live）自动清理过期状态 - 使用RocksDB状态后端实现磁盘溢出（Spill to Disk） --- #### 五、项目经验类问题 **典型问题**：请举例说明你解决过的最复杂的大数据问题 **回答框架**： 1. **背景**：描述数据规模（如"10TB日志数据/天"）和业务目标（如"实时风控"） 2. **挑战**：明确技术难点（如"95分位延迟超过SLA"） 3. **方案**：结合前述技术点（如"Flink反压优化+Kafka分区重平衡"） 4. **结果**：量化指标（如"端到端延迟降低60%"） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值