Hive动态分区&Partition中跟函数

最新推荐文章于 2024-10-02 12:15:57 发布

原创最新推荐文章于 2024-10-02 12:15:57 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

hive 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何在Hive中使用自动分区功能。首先设置了必要的参数，如开启动态分区、设置分区模式等。然后展示了具体的SQL示例，包括如何在插入语句中指定分区字段，并演示了如何使用函数处理分区字段。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、前段时间因为导表需求（从一张表中查找出数据，按日期分区overwrite 到指定分区表中），在Hive里面研究了一下自动分区。

步骤：

1、建好所需分区表

2、设置分区参数

1

2

3

4

 
        set 
        hive.
        exec
        .
        dynamic
        .partition=
        true
        ;(可通过这个语句查看：
        set 
        hive.
        exec
        .
        dynamic
        .partition;) 
       
 
        set 
        hive.
        exec
        .
        dynamic
        .partition.mode=nonstrict; 
       
 
        SET 
        hive.
        exec
        .
        max
        .
        dynamic
        .partitions=100000;(如果自动分区数大于这个参数，将会报错)
       
 
        SET 
        hive.
        exec
        .
        max
        .
        dynamic
        .partitions.pernode=100000;
       

3、书写代码（特别注意：日期字段一定要放在末尾），例如：

1

2

3

4

5

6

7

 
        INSERT 
        OVERWRITE 
        TABLE 
        dw_stage.ds_info_msg partition(cal_dt)
       
        select 
        id        
       
        ,...
       
        ,pv
       
        ,0  uv
       
        ,cal_dt
       
        from   
        dw_stage.tiny_info_msg

二、如果要在partition字段用函数处理也可通过通过这种方式实现；例如：

 
        set 
        hive.
        exec
        .
        dynamic
        .partition=
        true
        ;
       
        set 
        hive.
        exec
        .
        dynamic
        .partition.mode=nostrick;
       
        INSERT 
        OVERWRITE 
        TABLE 
        dw_stage.ds_info_msg partition(cal_dt)
       
        SELECT 
        id    
       
        ,...
       
        ,pv
       
        ,date_sub(
        '2014-03-23'
        ,7) cal_dt
       
        FROM   
        dw_stage.tiny_info_msg07;