Hive的动态分区与静态分区(区别及详解)

本文探讨了Hive中的静态分区与动态分区的区别。静态分区需预先创建,适合分区较少且分区明确的情况,支持load和insert操作。而动态分区在SQL执行时确定,适用于按数据集字段动态生成分区,需要开启特定模式,并且仅支持insert插入。在选择使用哪种分区时,需考虑数据量和资源管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

静态分区与动态分区的区别:

1、静态分区

2、动态分区


静态分区与动态分区的区别:

  • 静态分区是先把分区表创好,然后手动把数据导入到对应的分区里面去。
  • 静态分区实在编译期间指定分区名
  • 静态分区支持load、insert两种插入方式。
  • 静态分区是用于分区少,分区名可以明确的数据。

  • 动态分区是有一份数据集(2015-2022年的),按照数据集的字段给动态的生成分区。
  • 动态分区实在SQL执行的时候确定的。
  • 动态分区前需打开:set hive.exec.dynamic.partition.mode=nonstrict;
  • 动态分区只能用insert方式。
  • 动态分区通过普通表选出的字段包含分区字段,分区字段放在最后多个分区字段按照分区顺序放置。
    • 比如 [订单编号,订单创建时间,订单详情编号,订单价格,订单配送员...]
    • 订单创建时间(2021-11-12 12:22:49)把这个字段作为分区的字段。2021-11 这个作为分区条件。

面试题:什么时候使用静态分区,什么时候使用动态分区?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值