hive中一个分区表，一个非分区表，如何用非分区表中的字段作为分区表的分区值？

在Hive中，使用非分区表的字段值作为分区表的分区值，可以通过以下几种方式实现：

方法一：使用INSERT语句动态分区（推荐）

1. 启用动态分区配置

-- 启用动态分区
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

-- 可选：设置最大动态分区数
SET hive.exec.max.dynamic.partitions = 1000;
SET hive.exec.max.dynamic.partitions.pernode = 100;

2. 执行INSERT语句

INSERT INTO TABLE partitioned_table PARTITION(partition_column)
SELECT 
    col1,
    col2,
    col3,
    -- 其他字段...
    partition_value_column  -- 这个字段来自非分区表，将作为分区值
FROM non_partitioned_table;

示例：

假设有两个表：

• sales_data（非分区表）：包含sale_date, product, amount
• sales_partitioned（分区表）：分区字段为sale_date

INSERT INTO TABLE sales_partitioned PARTITION(sale_date)
SELECT 
    product,
    amount,
    sale_date  -- 这个字段将作为分区值
FROM sales_data;

方法二：使用CTAS（CREATE TABLE AS SELECT）

CREATE TABLE partitioned_table PARTITIONED BY (partition_column)
AS
SELECT 
    col1,
    col2,
    col3,
    partition_value_column AS partition_column
FROM non_partitioned_table;

方法三：分步处理

1. 创建分区表

CREATE TABLE partitioned_table (
    col1 STRING,
    col2 INT,
    col3 DOUBLE
)
PARTITIONED BY (partition_col STRING)
STORED AS ORC;

2. 插入数据

INSERT INTO partitioned_table PARTITION(partition_col)
SELECT 
    col1,
    col2,
    col3,
    partition_value_col  -- 来自非分区表的字段
FROM non_partitioned_table;

注意事项

1. 字段顺序：在SELECT语句中，分区字段必须放在最后
2. 数据类型：确保分区字段的数据类型与分区表定义一致
3. 性能考虑：动态分区可能会创建大量小文件，建议：
   • 调整相关参数
   • 考虑使用distribute by来优化文件分布

-- 优化写入性能
INSERT INTO TABLE partitioned_table PARTITION(partition_col)
SELECT 
    col1,
    col2,
    col3,
    partition_value_col
FROM non_partitioned_table
DISTRIBUTE BY partition_value_col;

4. 空值处理：Hive不允许分区值为NULL，需要提前处理：

INSERT INTO TABLE partitioned_table PARTITION(partition_col)
SELECT 
    col1,
    col2,
    col3,
    COALESCE(partition_value_col, 'unknown')  -- 处理NULL值
FROM non_partitioned_table;

完整示例

-- 创建非分区表
CREATE TABLE source_data (
    id INT,
    name STRING,
    value DOUBLE,
    category STRING,
    event_date STRING
);

-- 创建分区表
CREATE TABLE partitioned_data (
    id INT,
    name STRING,
    value DOUBLE,
    category STRING
)
PARTITIONED BY (event_date STRING)
STORED AS ORC;

-- 启用动态分区
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

-- 插入数据
INSERT INTO partitioned_data PARTITION(event_date)
SELECT 
    id,
    name,
    value,
    category,
    event_date  -- 作为分区字段
FROM source_data;

推荐使用方法一的动态分区方式，这是Hive中最常用且最高效的方法。