hive hive.optimize.ppd=false导致map数量很大

最新推荐文章于 2024-06-11 18:48:27 发布
最新推荐文章于 2024-06-11 18:48:27 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lookqlp/article/details/52096282
在Hive 0.9.0版本中，设置hive.optimize.ppd=false会导致WHERE子句不被识别，并且会显著增加Map任务的数量。对比未设置此参数的情况，Map任务从90个激增到4363个，而Reducer任务则保持在999个。因此，在新版本的Hive中，建议使用默认的hive.optimize.ppd=true以确保查询优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive官方https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView
说
Prior to Hive 0.6.0, lateral view did not support the predicate push-down optimization. In Hive 0.5.0 and earlier, if you used a WHERE clause your query may not have compiled. A workaround was to add set hive.optimize.ppd=false; before your query. The fix was made in Hive 0.6.0; see https://issues.apache.org/jira/browse/HIVE-1056: Predicate push down does not work with UDTF's.
在0.5.0版本前使用hive.optimize.ppd=false是能解决where条件不识别的。但我在使用0.9.0版本时使用了该参数，导致where不识别。
不使用参数日志： 

Starting Job = job_201312261829_7430, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201312261829_7430
Kill Command = /home/hadoop/hadoop-1.0.3/libexec/../bin/hadoop job  -Dmapred.job.tracker=master:8021 -kill job_201312261829_7430
Hadoop job information for Stage-1: number of mappers: 90; number of reducers: 287

使用该参数日志： 

Starting Job = job_201312261829_7433, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201312261829_7433
Kill Command = /home/hadoop/hadoop-1.0.3/libexec/../bin/hadoop job  -Dmapred.job.tracker=master:8021 -kill job_201312261829_7433
Hadoop job information for Stage-1: number of mappers: 4363; number of reducers: 999


所以在新版本的hive中使用hive.optimize.ppd=true；默认值即可
「Hive进阶篇」万字长文超详述hive企业级优化
大数据阶梯之路的博客
07-26 467
万字长文超详述Hive企业级优化
Hive优化语句
lz_N_one的博客
07-26 512
Hive的优化方法
hive ppd
bupt041137的专栏
07-26 442
Implement predicate push down for hive queries https://issues.apache.org/jira/browse/HIVE-279 FilterOperator is applied twice with ppd on. https://issues.apache.org/jira/browse/HIVE-1538 . ppd（谓...
hive 性能优化
w991304848的博客
10-14 651
目录 1.sql语法优化 1.使用explain 查询计划优化sql 2.使用analyze分析器 3.谓词下推 2.数据存储优化 1.设计分区表 2.设计分桶表 3.采用列式存储（orc格式存储） 1.开启orc索引 2.开启orc布隆过滤器（布隆过滤器：没有一定没有，有可能没有，还有查数据） 3.开启orc 矢量化查询 4.使用文件snappy压缩 5.小文件优化 1.避免生成小文件 2.合并小文件 3.hive参数优化 1.hive 中mr相关参数优化 （1）...
hive优化
MRzhenglea的博客
04-17 1771
命令 explain (sql语句)查看详细的MR explain extended (sql语句) 查看参数的MR 动态分区 就是说给分区表导入数据的时候，想给数据动态分区插入进去 1首先开去动态分区功能 set hive.exec.dynamic.partition=true; 2 设置为非严格模式（动态分区的模式，默认strict,表示必须指定至少一个分区为静态分区，nonstrict表示允许所有的分区字段都可以使用动态分区） set hive.exec.dynamic.partition.mode=
Hive高级用法01-hive调优
小梁
07-24 1969
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
hive sql执行优化策略集合
qq_24022561的博客
06-11 1022
mapred.min.split.size.per.node和mapred.min.split.size.per.rack含义是单节点和单机架上的最小split大小。set hive.exec.max.dynamic.partitions.pernode=1000 （默认1000）表示每个maper或reducer可以允许创建的最大动态分区个数，可以设置大一些，主要看表分区有多少个，超出则会报错。3、mapper数量调整：一般来讲，如果输入文件是少量大文件，就减少mapper数；
hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案
老姜的数据江湖
10-27 2220
hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法层面调优。上一篇可点击hive建表设计层面调优 一.hive语法层面和参数调优 hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。 1.1查看hive执行计划 Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过 程，可以在SQL语句中输入如下命令查看具体的执行计划。 ##查看执
HIVE遇到的配置项纪录---持续更新
bh520ys的博客
03-06 519
hive.warehouse.subdir.inherit.perms=false <description>true if table directories should inherit the permissions of the warehouse or database directory instead of being created with permissions ...
Hive PPD
weixin_39182877的博客
05-09 329
https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
Hive优化以及相关参数设置
ziaoming_biu的博客
05-01 3129
如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。如果某个不平衡的job中有几个 reduce task 执行的时间要比其他的 reduce task 消耗的时间要多得多的话，那么保留的插槽就会一直空闲却无法被其他的 job 使用，直到所有的 task 都结束了才会释放。默认情况下，在进行分组聚合的时候，相同的键的数据会进入到同一个reduce中进行处理，如果分组的时候某一个值有大量的重复的数据，则会导致某一个reduce任务量会很大，从而导致数据倾斜。
Hive 高级编程——深入浅出学Hive
快乐程序员的专栏
08-02 1185
第一部分：产生背景 产生背景 •为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括： •文件格式：Text File，Sequence File •内存中的数据格式： Java Integer/String, Hadoop  IntWritable/Text •用户提供的 map/reduce 脚本：不管什么语言，利用 s
【Hive】Hive调优梳理
victorzzzz的专栏
05-05 888
Hive调优梳理： 高效的文件格式 中间压缩格式 GZip压缩率高，消耗CPU更高 Snappy压缩率和CPU消耗更均匀 根据业务创建分区表 根据业务创建分桶表 保证map扫描尽量少 高效的文件格式 压缩格式 列裁剪 分区裁剪 分桶 保证map传给reduce的数据量尽量小 1. 避免笛卡尔积 2. 谓词下推 set hive.opt...
hive优化的总结
qq_44665283的博客
06-18 4530
hive优化的全面总结
Hive 调优参数总结
JIE的博客 --- moon_coder
11-25 1264
第⼀个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从⽽达到负载均衡的⽬的；谓词下推是许多数据库引擎中都具有的一种优化策略，通过条件进行过滤，将在 map 端提前执行，减少 map 端输出，降低了数据传输 IO，节约资源，提升性能。列裁剪：写明要查询的字段，即使你查询的是该表的所有字段，这样能够有效提高查询效率，提高内存使用率。对于小数据集，执行时间可以明显被缩短。
Hive学习笔记（四）-- Hive参数优化总结
Coding Space
02-28 1265
一、通用参数优化 1.1 启用数据压缩 1.2 Job执行优化 1.3 选择合适的引擎 1.4 MapReduce参数优化 Map阶段优化 Reduce阶段优化 Shuffle阶段优化 二、Join优化 2.1 Map Join 2.2 Bucket Map Join ...
Hive_HIVE优化指南_场景八_数据裁剪问题
迎难而上
04-13 871
Hive优化，大纲地址： https://blog.csdn.net/u010003835/article/details/105334641 测试数据 场景八_数据裁剪问题 1) 记录数裁剪 i.通过分区，分桶 表的优势 去构建 ii.通过筛选条件，去除无效的记录，使得无效数据在 map 阶段 剔除 2) 列裁剪 i.剔除...
Hive常用性能优化方法实践全面总结
智海观潮的博客
02-03 1180
Apache Hive作为处理大数据量的大数据领域数据建设核心工具，数据量往往不是影响Hive执行效率的核心因素，数据倾斜、job数分配的不合理、磁盘或网络I/O过高、MapReduce配置的不合理等等才是影响Hive性能的关键。 Hive在执行任务时，通常会将Hive SQL转化为MapReduce job进行处理。因此对Hive的调优，除了对Hive语句本身的优化，也要考虑Hive配置项以及MapReduce相关的优化。从更底层思考如何优化性能，而不是仅仅局限于代码/SQL的层面。 列裁剪和分区裁剪 H
1.集群的CDH版本为6.3.2，内置spark引擎版本约为spark2.4.0，目前hive默认的查询引擎为mr，且可供查询时临时切换的引擎只有spark； 3.该集群有3台namenode、51台datanode节点，单台namenode配置：64C256G16T，单台datanode配置：64C512G96T； 4.在运行以上sql任务时，集群同时还运行其他任务，期间Yarn内存总使用率约为50%，Yarn内核总使用率约为60%。 5.hive sql脚本（已优化）如下： -- 基础优化 SET hive.optimize.ppd=true; SET hive.execution.engine=spark; SET spark.master=yarn; SET spark.submit.deployMode=cluster; -- 资源分配（根据集群调整） -- 动态分配方案 SET spark.dynamicAllocation.enabled=true; SET spark.dynamicAllocation.minExecutors=25; SET spark.dynamicAllocation.maxExecutors=70; SET spark.dynamicAllocation.executorIdleTimeout=60s; SET spark.dynamicAllocation.schedulerBacklogTimeout=30s; -- 资源分配设置 SET spark.executor.memory=16g; SET spark.executor.cores=8; SET spark.driver.memory=10g; SET spark.yarn.executor.memoryOverhead=6g; -- 堆外内存（关键防OOM），提升shuffle安全边际 -- 性能优化参数 SET spark.sql.adaptive.enabled=true; -- 启用AQE,自适应优化执行计划 SET spark.sql.adaptive.coalescePartitions.enabled=true; SET spark.sql.adaptive.advisoryPartitionSizeInBytes=256000000; -- 256MB SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=268435456; -- 256MB SET spark.speculation=true; SET spark.sql.parquet.enableVectorizedReader=true; -- 加速Parquet -- 倾斜优化 SET spark.sql.adaptive.skewedJoin.enabled=true; -- 倾斜处理 SET spark.sql.adaptive.skewedPartitionFactor=3; SET spark.sql.adaptive.skewedPartitionThresholdInBytes=256MB; SET spark.sql.aggregate.ignoreInvalidSalt=true; --启用谓词下推 SET spark.sql.parquet.filterPushdown=true; -- Shuffle优化 SET spark.sql.shuffle.partitions=1500; SET spark.shuffle.file.buffer.size=1mb; SET spark.shuffle.compress=true; SET spark.shuffle.spill.compress=true; -- 内存与GC优化 SET spark.memory.fraction=0.8; SET spark.memory.storageFraction=0.5; SET spark.executor.extraJavaOptions=" -XX:+UseG1GC -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=8 -XX:G1HeapRegionSize=32m -XX:+UnlockExperimentalVMOptions -XX:G1NewSizePercent=20 -XX:G1MaxNewSizePercent=50"; -- Off-Heap内存优化 SET spark.memory.offHeap.enabled=true; SET spark.memory.offHeap.size=2g; -- 网络超时设置 SET spark.network.timeout=300s; SET spark.sql.broadcastTimeout=1800; -- 广播超时 -- 预计算日期参数（避免每行重复计算） SET hivevar:start_dt=regexp_replace(add_months('${etldate}',-3),'-',''); SET hivevar:end_dt=regexp_replace('${etldate}','-',''); SET hivevar:total_days=datediff('${etldate}',add_months('${etldate}',-3)); -- 创建新表 CREATE TABLE dws.B STORED AS PARQUET AS SELECT cust, SUM(nvl(bal, 0)) / ${total_days} AS avg_bal -- 使用预计算常量 FROM dwd.A WHERE dt <= '${end_dt}' AND dt > '${start_dt}' -- 直接使用预计算的分区值 AND cust IS NOT NULL AND cust <> '' AND ( -- 优化OR条件结构 (type_cd = 'D' AND stat_cd IN ('2','5','6')) OR (type_cd = 'W' AND stat_cd <> '4') OR (type_cd NOT IN ('D','W')) GROUP BY cust; 6.上述sql中表A分区字段为dt，格式为yyyyMMdd的字符串，表A为每日更新的全量数据，且数据量较大，单分区上亿，表A为parquet格式，参数etldate为跑批日期，格式为yyyy-MM-dd字符串； 对于以上hive sql脚本，假设表A数据不存在严重倾斜，但也不是十分均匀。现在我设置的运行参数如上所述，请为我详细分析： 以上参数设置是否合理？ 参数间是否有冲突？ 是否有多余的、可以省略设置的参数？ 是否有遗漏未设置的参数？ 以我的集群当前的运行情况和资源占用情况，以上参数对资源分配是否合理？
最新发布
07-29
spark.dynamicAllocation.enabled=false # 如果使用固定资源则关闭动态分配 # 或者启用动态分配 # spark.dynamicAllocation.enabled=true # spark.dynamicAllocation.minExecutors=5 # spark.dynamicAllocation...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值