Hive动态分区（Dynamic Partition）导致的内存问题

最新推荐文章于 2025-04-26 22:05:42 发布
原创 最新推荐文章于 2025-04-26 22:05:42 发布 · 4.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文探讨了Hive动态分区导致的内存问题，特别是在大量动态分区创建时出现的内存溢出或YarnKill现象。通过调整hive.optimize.sort.dynamic.partition参数，可以实现动态分区的全局排序，从而减少每个分区值在Reducer上的记录写入，有效减轻内存压力。

在这里插入图片描述## Hive动态分区（Dynamic Partition）导致的内存问题
默认hive.optimize.sort.dynamic.partition是false，hive进行动态分区的时候，可以看见一直在 FileSinkOperator: New Final Path导致内存中保存太多句柄和数据，导致OOM或者内存超被Yarn Kill。开启下面的参数可以缓解内存压力。

hive.optimize.sort.dynamic.partition

  • Default Value: true in Hive 0.13.0 and 0.13.1; false in Hive 0.14.0 and later (HIVE-8151)
  • Added In: Hive 0.13.0 with HIVE-6455
  • When enabled, dynamic partitioning column will be globally sorted. This way we can keep only one record writer open for each partition value in the reducer thereby reducing the memory pressure on reducers.

Container killed on request. Exit code is 137 Container exited with a non-zero exit code 137 Killed by external signal

2019-04-17 16:16:58,358 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181009/own_library_flag=0/000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180909/own_library_flag=0/000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20180909/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,374 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180909/own_library_flag=0/000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181001/own_library_flag=0/000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20181001/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,388 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181001/own_library_flag=0/000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180906/own_library_flag=0/000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20180906/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,396 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20180906/own_library_flag=0/000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181127/own_library_flag=0/000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_task_tmp.-ext-10002/dayno=20181127/own_library_flag=0/_tmp.000000_0
2019-04-17 16:16:58,405 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://alg-hdfs/warehouse/browser/browser.db/t_xqh_temp_20190417_document/.hive-staging_hive_2019-04-17_16-16-01_858_4125803238649808238-15659/_tmp.-ext-10002/dayno=20181127/own_library_flag=0/000000_0
2019-04-17 16:16:58,436 FATAL [main] org.apache.hadoop.hive.ql.exec.mr.ExecMapper: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {“doc_id”:“V_01KGpTaP”,“id”:-1,“outid”:“V_01KGpTaP”,“source”:“yidian”,“gid”:null,“title”:“​福克斯RS​到底跑多快”,“style”:null,“cover1”:"",“cover2”:"",“cover3”:"",“doctype”:-1,“article_type”:“视频”,“summary”:"",“author”:“绝对的汽车控”,“publishtime”:-1,“expiretime”:-1,“content”:null,“url”:null,“imgcount”:-1,“videoduration”:-1,“originlevel”:100,“computerlevel”:-1,“artificiallevel”:-1,“topcategory”:“汽车”,“secondcategory”:null,“origintags”:"",“computertags”:"",“artificialtags”:"",“secondresource”:null,“origindata”:"",“status”:-1,“mark”:"",“clickcount”:-1,“upscount”:-1,“commentcount”:-1,“sharecount”:-1,“threadcount”:-1,“clickusercount”:-1,“createtime”:1550938435,“createtime_st”:“20190224 00:13:55”,“updatetime”:-1,“updatetime_st”:"-1",“openid”:-1,“sourceen”:"",“base62id”:"",“docattr”:"",“docflag”:"",“similarid”:"",“author_name”:“绝对的汽车控”,“author_level”:-1,“author_type”:-1,“own_library_flag”:0,“import_time”:null}
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:507)
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:170)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:459)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild2.run(YarnChild.java:164)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(Subject.java:422)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)Causedby:org.apache.hadoop.hive.ql.metadata.HiveFatalException:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledbyhive.exec.max.dynamic.partitionsandhive.exec.max.dynamic.partitions.pernode.Maximumwassetto:100atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:896)atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:676)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:97)atorg.apache.hadoop.hive.ql.exec.MapOperator2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100 at org.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:896) at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:676) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815) at org.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:97) at org.apache.hadoop.hive.ql.exec.MapOperator2.run(YarnChild.java:164)atjava.security.AccessController.doPrivileged(NativeMethod)atjavax.security.auth.Subject.doAs(Subject.java:422)atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)Causedby:org.apache.hadoop.hive.ql.metadata.HiveFatalException:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledbyhive.exec.max.dynamic.partitionsandhive.exec.max.dynamic.partitions.pernode.Maximumwassetto:100atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:896)atorg.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:676)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)atorg.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)atorg.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:97)atorg.apache.hadoop.hive.ql.exec.MapOperatorMapOpCtx.forward(MapOperator.java:157)
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:497)
… 9 more

(13)Hive调优——动态分区导致的小文件问题
爱吃辣条的博客
02-14 2765
Hive——动态分区导致的小文件问题
Hive 动态分区小文件过多问题优化
石榴姐yyds
04-08 384
动态分区易产生海量小文件。假设输入数据1TB，启用2000 Mapper任务且每个任务生成100分区，则总文件数为2000×100=200,000，远超。
Hive 实战调优参数大全
zhsworld的博客
08-09 867
-- 开启动态分区，写入数据时需要 set hive.optimize.sort.dynamic.partition=true; -- 默认值是strict，默认要求分区字段必须有一个是静态的分区值 set hive.exec.dynamic.partition.mode=nonstrict; -- 控制在同一个sql中的不同的job是否可以同时运行。默认是False set hive.exec.parallel=true; -- 同一个sql允许并行任务的最大线程数。默认是8 set hive.ex.
Hive面试题2:常用hive配置
mr_cuber的博客
01-28 1201
目录 1.动态分区 1.启用动态分区
Hive之set参数大全-13
m0_49620121的博客
01-23 1474
是一个 Hive 配置参数，用于控制在执行 Skew Join 操作时是否进行编译时优化。Skew Join 是一种处理数据倾斜（skew）的连接操作的技术，它可以提高查询性能。如果被设置为true，则表示在编译阶段会对 Skew Join 进行优化。这通常包括生成更有效的执行计划，以减轻数据倾斜带来的性能问题。如果设置为false，则不会进行编译时的优化，而是依赖运行时的动态优化。默认情况下，这个参数通常是开启的，以确保在编译时尽量提前优化 Skew Join 操作。
Hive Dynamic Partition
过河卒子Rover的博客
02-09 7485
hive 动态分区
hive-动态分区Dynamic Partition
DCHAO的博客
05-19 9237
com 往分区表插数据时，需要指定分区。这样一次只能插入一个分区。 如果插入数据分散在多个分区中，就要通过动态分区功能，自动创建分区并填充。 参数配置 在使用动态分区之前,我们要进行一些参数的配置. hive.exec.dynamic.partition 默认值：false 是否开启动态分区功能，默认false关闭。 使用动态分区时候，该参数必须设置成true; hive.exec.dynamic.partition.mode 默认值：strict 动态分区的模式，默认strict，表示必须指定至少一个分区
Hive 分区表 动态分区开启 创建 hive.exec.dynamic.partition=true；
是个好男人的博客
05-16 6583
参考：https://blog.csdn.net/afafawfaf/article/details/80249974 1.分区表 还可以创建二级分区：PARTITIONED BY (event_month string, step string) 创建分区表： CREATE TABLE order_created_partition ( order_number STRING , event_timeSTRING ) PARTITIONED BY (event_month ...
hive 动态分区-动态分区数量太多也会导致效率下降&只设置非严格模式也能执行动态分区
千山暮雪CN
08-24 4152
百亿数据动态分区处理
【Hive入门】Hive动态分区与静态分区：使用场景与性能对比完全指南
IT成长日记的博客
04-26 1344
Hive 中的分区本质上是将表的数据按特定列的值分割并存储在不同的 HDFS 目录中，从而实现数据隔离和查询裁剪（Partition Pruning）。分区分为静态分区和动态分区，区别在于分区创建的方式和时机。
hive中分区表(partition table)：动态分区(dynamic partition)和 静态分区(static partition)
suojie的博客
01-14 3723
一、基本概念 hive中分区表分为：范围分区、列表分区、hash分区、混合分区等。 分区列：分区列不是表中的一个实际的字段，而是一个或者多个伪列。翻译一下是：“在表的数据文件中实际上并不保存分区列的信息与数据”，这个概念十分重要，要记住，后面是经常用到。 1.1 创建数据表 下面的语句创建了一个简单的分区表： 复制代码 create table partition_test( ...
hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition)
helloxiaozhe的博客
11-04 1万+
hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition) hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
hive 写入分区oom
炼数成器
03-14 4658
1.内存优化 列式存储的文件在写入文件之前都会将一定数量的数据缓存在内存中，由于hive每个动态分区目录都会打开一个文件写入器（file writer），所以当存在很多分区的时候，有可能会导致mapper OOM，所以需要增加内存。或者限制每次任务的分区数。另外缓冲区（file buffer）的大小最好跟block一样大，set Parquetbuffer size=blocksize 2.开启hive.optimize.sort.dynamic.partition 通过explain 发现 动态分区跟sq
hive静态分区和动态分区
guoguopython的博客
03-25 4002
hive静态分区和动态分区
Hive表的静态分区和动态分区怎么用
别人笑我太疯癫，我笑他人看不穿。
01-25 473
Hive在操作表的时候默认用的就是静态分区，之所以不直接用动态分区这是因为，静态分区在填充数据的时候需要去判断分区，效率上比静态分区较有不足 下面让我们看看它们是怎么使用的吧 静态分区 CREATE TABLE mytable ( name STRING, sex STRING ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"; 上面这个是静态分区表的创建方式，以dt为分区字段，在使用这种
Hive 插入动态分区表时遇到的一些坑
热门推荐
lzw2016的博客
07-30 1万+
Hive 插入动态分区的问题 insert into table xxx partition(xxxx) select ... 使用动态分区时首先不要忘记的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dyna...
MapTask、ReduceTask工作机制
liu_1221的博客
09-12 547
——尚硅谷视频笔记 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 （3）Collect收集阶段：在用户编写...
深入浅出Hive性能优化策略
引用原创内容标明出处即可
03-17 2387
我们将从基础的HiveQL优化讲起，涵盖数据存储格式选择、数据模型设计、查询执行计划优化等多个方面。会的直接滑到最后看代码和语法。
Hive查询优化 - 面试工作不走弯路
引用原创内容标明出处即可
07-03 1846
优化Hive查询的能力也是大数据工程师面试中的常见问题之一，能够展示出你的技术深度和实际操作能力。我们将深入探讨Hive查询优化的多种方法，包括数据存储优化、查询写法优化、配置优化以及性能监控与调优。无论是正在准备面试，还是在实际工作中遇到了Hive查询性能瓶颈都能游刃有余
hive动态分区
最新发布
10-14
Hive动态分区是一项强大且实用的特性，能有效提升数据存储和管理的灵活性与效率，可更好地应对海量数据的分区存储需求，充分发挥Hive在数据仓库领域的优势，为企业的数据分析和决策提供有力支持[^1]。 ### 原理 默认情况下，Hive 的动态分区功能是受限的，需要手动开启并调整相关参数。开启时，设置`SET hive.exec.dynamic.partition = true`；允许非严格模式（即支持全动态分区），设置`SET hive.exec.dynamic.partition.mode = nonstrict`；限制单个 MR 任务能创建的最大分区数（防止生成过多小文件），设置`SET hive.exec.max.dynamic.partitions = 1000`；限制单个 Reduce 任务能创建的最大分区数，设置`SET hive.exec.max.dynamic.partitions.pernode = 100` [^3]。 ### 使用方法 #### 配置 - 开启 Hive 动态分区：`set hive.exec.dynamic.partition=true`，默认值为`true`。 - 设置 Hive 的动态分区模式：`set hive.exec.dynamic.partition.mode=nostrict`，默认值为`strict`（至少有一个分区列是静态分区）。 - 设置每一个执行 MR 节点上，允许创建的动态分区的最大数量（默认 100）：`set hive.exec.max.dynamic.partitions.pernode`。 - 设置所有执行 MR 节点上，允许创建的所有动态分区的最大数量（默认 1000）：`set hive.exec.max.dynamic.partitions`。 - 设置所有的 MR job 允许创建的文件的最大数量（默认 100000）：`set hive.exec.max.created.files` [^2]。 #### 语法 ```sql --Hive extension (dynamic partition inserts): INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement; INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement; ``` 上述语法中，`tablename`为表名，`partcol`为分区列，`val`为分区列的值，`select_statement`为查询语句，`from_statement`为数据源 [^2]。 ### 注意事项 - 动态分区功能默认是受限的，需要手动开启并调整相关参数，如分区数量限制等，以防止生成过多小文件影响性能 [^3]。 - 分区模式有严格和非严格之分，严格模式要求至少有一个分区列是静态分区，使用时需根据实际情况选择合适的模式 [^2][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值