hive 动态分区(Dynamic Partition)异常处理 [Error 20004]

最新推荐文章于 2024-10-02 12:15:57 发布
最新推荐文章于 2024-10-02 12:15:57 发布
阅读量1.4k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据学习 Hive学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iilegend/article/details/90142696
本文解决在Hive中使用动态分区导入数据时遇到的执行错误问题，通过调整hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode参数的值，成功解决了因动态分区数量过多导致的数据导入失败。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hive中创建动态分区，将数据导入的过程中，出现的问题： 数据导入失败

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

 这个问题主要原因就是动态分区的数量没有达到要求，应该分区的数量设置多一些

Your Hive job tried to create too many dynamic partitions on a node, exceeding the current limits. The number of dynamic partitions is controlled by the settings forhive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode.  The default is 100 dynamic partitions on a single node, with a limit of 1000 overall.

设置一下：

SET hive.exec.dynamic.partition=true;
SET hive.exec.max.dynamic.partitions=2048;
SET hive.exec.max.dynamic.partitions.pernode=256;

完美解决：

 

 

Hive 动态分区小文件过多问题优化
石榴姐yyds
04-08 189
动态分区易产生海量小文件。假设输入数据1TB，启用2000 Mapper任务且每个任务生成100分区，则总文件数为2000×100=200,000，远超。
Hive 分区实战指南：动态分区 vs 静态分区的深度解析
最新发布
2401_83088008的博客
03-23 622
分区策略的选择直接影响 Hive 查询性能和运维成本。静态分区适合可预测的少量分区场景，而动态分区在处理海量、变化的分区时更具优势。优先使用动态分区提高灵活性对热点分区进行拆分或合并定期清理无效分区结合分区裁剪和索引优化查询掌握分区技术的精髓，能让 Hive 数据仓库的性能提升 3-10 倍，是大数据工程师必须掌握的核心技能之一。
Hive Dynamic Partition
过河卒子Rover的博客
02-09 7457
hive 动态分区
HIVE 出現 [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions.
qq_39841823的博客
02-06 640
BUG MSG： 在创建好一个分区表后，执行动态分区插入数据，抛出了错误： [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partition
hadoop动态分区错[Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions
chenlou_1111的博客
01-26 1323
错误：Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and h
hive动态分区shell_遇到的情况--hive---动态创建分区报错dynamic.partitions.pernode. Maximum was set to: 100...
weixin_39716921的博客
12-19 704
遇到的情况我们在hive shell中使用insert overwrite table table_p partition(time) select id,time from table_info;进行动态分区写入数据，然后在reduce的时候报错hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100Caused by: ...
Hive的分区（partition）-动态分区
热门推荐
shammy_feng的博客
08-21 2万+
Hive的分区 一、概述 分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。hive中支持两种类型的分区： 静态分区SP（static partition） 动态分区DP（dynamic partition） 静态分区与动态分区的主要区别在于静态分区是手动指定...
hive 动态分区-动态分区数量太多也会导致效率下降&只设置非严格模式也能执行动态分区
千山暮雪CN
08-24 4071
百亿数据动态分区处理
【Hive】利用Distribute by 解决动态分区小文件过多问题
Sunny的专栏
10-02 1791
参数默认值说明false是否开启动态分区功能，默认false关闭。使用动态分区时候，该参数必须设置成true;strict动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区;nonstrict模式表示允许所有的分区字段都可以使用动态分区。100在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。1000。
[SparkSQL] hive.exec.max.dynamic.partitions配置不起作用
好民小张的博客
04-07 2103
[SparkSQL] hive.exec.max.dynamic.partitions配置不起作用 在Hive的hive-site.xmlhive.exec.max.dynamic.partitions设置指定值 在Spark的hive-site.xmlhive.exec.max.dynamic.partitions设置指定值 如有其它问题欢迎大家评论区留言.
Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dy
Knight
02-15 872
Job failed with org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and
hive 动态分区(Dynamic Partition)异常处理
数据之路
11-17 1万+
Changing Hive Dynamic Partition Limits Symptoms: Hive enforces limits on the number of dynamic partitions that it creates.  The default is 100 dynamic partitions per node, with a total (default)
hive动态分区
CherishL_的专栏
08-19 1066
不需要为不同的分区添加不同的插入语句 分区不确定，需要从数据中获取 几个参数：set hive.exec.dynamic.partition=true//使用动态分区 set hive.exec.dynamic.partition.mode=nonstrick//无限制模式，如果模式是strict，则必须有一个静态分区，切放在最前面 set hive.exec.max.dynamic.parti
Hive:BUG记录，错误使用动态分区导致的插入失败
ZJH
11-19 2211
在Hive中，插入数据时可以指定动态分区，如果，，就可以不需要指定hive变量。
遇到的情况--hive---动态创建分区报错dynamic.partitions.pernode. Maximum was set to: 100
直到世界的尽头
03-03 5808
遇到的情况 我们在hive shell中使用 insert overwrite table table_p partition(time) select id,time from table_info; 进行动态分区写入数据，然后在reduce的时候报错 hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 10...
Hive 插入动态分区表时遇到的一些坑
lzw2016的博客
07-30 1万+
Hive 插入动态分区的问题 insert into table xxx partition(xxxx) select ... 使用动态分区时首先不要忘记的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dyna...
Hive之动态分区
勇心在馨
02-09 1120
关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。 1、开启动态分区参数设置 （1）开启动态分区功能（默认 true，开启） hive.exec.dynamic.partition=true ...
Hive 静态分区&动态分区（含常见错误）
wzj_wp的博客
12-25 1899
静态分区 1.创建分区表 hive (wzj)> CREATE TABLE emp_partition( > empno int, > ename string, > job string, > mgr int, > hiredate string, ...
hive查看动态分区是否已经开启
03-20
<think>嗯，用户问的是如何在Hive中查看动态分区是否已经开启。首先，我需要回忆一下Hive的动态分区相关的配置参数。记得动态分区主要涉及几个关键的参数，比如hive.exec.dynamic.partition和hive.exec.dynamic.partition.mode。可能还有其他的参数，比如是否允许严格模式。 接下来，用户需要的是查看这些参数是否已经启用。在Hive中，通常可以通过SET命令来查看当前的配置。所以应该指导用户使用SET命令加上参数名称来查询。例如，SET hive.exec.dynamic.partition; 这样就能返回当前的值是true还是false。 然后，动态分区的模式（mode）参数有不同的值，比如nonstrict和strict。默认情况下，Hive可能设置为strict，这需要至少一个静态分区列，而nonstrict则允许所有分区列都是动态的。所以用户可能还需要检查hive.exec.dynamic.partition.mode的设置。 另外，可能还需要提到其他相关参数，比如hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode，这些参数限制了动态分区的数量，避免过多分区导致性能问题。虽然用户的问题主要是是否开启，但提供额外的相关信息可能会有帮助。 需要注意的是，用户可能是在使用Hive时遇到了动态分区的问题，比如无法创建动态分区，所以需要确认配置是否正确。因此，在回答中除了查看方法外，可能还需要简要说明如何启用这些配置，比如使用SET命令或者在hive-site.xml中修改配置。 还需要确认Hive的版本是否影响这些参数的默认值，不同版本的Hive可能有不同的默认设置。但通常，动态分区默认是关闭的，需要手动开启。不过，为了准确起见，最好建议用户直接查询当前会话或服务的配置。 总结步骤应该是：使用SET命令检查hive.exec.dynamic.partition是否为true，然后检查mode是否为nonstrict，如果都是的话，动态分区已经开启。如果用户发现没有开启，可以指导他们如何修改这些参数，比如在会话中临时设置或者修改配置文件。 最后，确保回答结构清晰，分步骤说明，并且提供示例命令，这样用户可以直接复制粘贴执行，方便他们验证自己的配置状态。同时提醒用户注意权限问题，可能需要管理员权限才能修改全局配置，而SET命令只在当前会话有效。</think>在Hive中查看动态分区是否已开启，可通过以下步骤检查相关配置参数： --- ### 1. **查看动态分区主开关** 执行以下HiveQL命令： ```sql SET hive.exec.dynamic.partition; ``` - 若返回值为 `hive.exec.dynamic.partition=true`，表示动态分区功能已启用。 - 若为 `false`，则需手动开启（需管理员权限）。 --- ### 2. **检查动态分区模式** 动态分区模式分为 `strict`（严格模式）和 `nonstrict`（非严格模式）： ```sql SET hive.exec.dynamic.partition.mode; ``` - `nonstrict`：允许所有分区列动态插入（默认关闭，需手动开启）。 - `strict`：要求至少一个分区列是静态的（默认配置）。 --- ### 3. **其他关联参数（辅助验证）** ```sql -- 单节点最大动态分区数 SET hive.exec.max.dynamic.partitions.pernode; -- 全局最大动态分区数 SET hive.exec.max.dynamic.partitions; -- 是否允许空分区生成 SET hive.error.on.empty.partition; ``` --- ### 4. **如何开启动态分区（补充说明）** 若发现未开启，可通过以下方式临时启用（当前会话有效）： ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; ``` 永久生效需修改Hive配置文件 `hive-site.xml`。 --- ### 总结 动态分区状态取决于 `hive.exec.dynamic.partition` 和 `hive.exec.dynamic.partition.mode` 的组合配置。通过 `SET` 命令可直接验证当前会话的配置值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值