Hive的联级(cascade)- 修改分区表的字段类型或者增加新字段

一、问题描述

踩坑:数仓的分区表,由于需求需要,要把int类型的字段改为bigint,我直接执行的以下语句:

      alter table table_name change column 字段 字段 bigint;

出现的问题:之后的分区数据可以正常的显示,历史数据查出来的数据为0,无论insert overwrite重新导数据、把有问题的分区数据删掉都不能正常显示。


尝试了在原来基础上执行:alter table table_name change column 字段 字段 bigint cascade; 也不行

二、问题解决

方法:把修改过类型的表drop掉,然后将hdfs上的分区目录文件删掉。
    
执行命令:      drop table table_name;
                hadoop fs -rm -r + hdfs文件路径

最后所有的历史数据重新加载,

Tips:由于我的分区个数少,且历史数据量少,所以我这么做了。
    

三、最佳问题解决

在我们执行更改字段类型、增加字段时,在语句末尾加上cascade就ok了,要不然很麻烦

alter table table_name change column 字段 字段 bigint cascade;

四、cascade知识

1.cascade的中文翻译为“级联”,也就是不仅变更新分区的表结构(metadata),同时也变更旧分区的表结构。

2.对于删除操作也是,级联删除表中的信息,当表A中的字段引用了表B中的字段时,一旦删除B中该字段的信息,表A的信息也自动删除。(当父表的信息删除,子表的信息也自动删除)

3.标准语法如下:

 

### 如何在 Hive 分区表增加字段 #### 使用 `ALTER TABLE` 增加字段并应用到所有分区 对于希望新添加的字段能够应用于所有的现有分区以及未来的分区,可以采用带有 `CASCADE` 关键字的方式执行 `ALTER TABLE` 操作。这会使得变更立即生效于整个表格及其所有分区。 ```sql ALTER TABLE your_partitioned_table ADD COLUMNS(new_column_name new_column_type) CASCADE; ``` 此命令不仅更新了表定义中的模式信息,还同步刷新了各个分区下的元数据,从而允许向这些已存在的分区里插入新的列数据[^2]。 #### 针对特定分区单独增加字段 如果不使用 `CASCADE` 参数,则默认只更改表别的架构而不自动影响现存的具体分区。为了使某些旧有分区也支持新增加的字段,在完成上述全局修改之后还需要针对每一个想要更新的历史分区分别运行如下SQL语句: ```sql ALTER TABLE your_partitioned_table PARTITION(partition_specification) ADD COLUMNS(new_column_name new_column_type); ``` 这里的 `partition_specification` 应替换为实际分区条件表达式,比如 `(year=2023, month=1)`;而 `new_column_name` 和 `new_column_type` 则是要加入的新字段名称与其对应的类型。 #### 注意事项 当涉及到删除或调整已有分区时需格外谨慎,因为不当的操作可能会导致数据丢失或其他不可预见的问题。例如,如果尝试通过 `DROP PARTITION` 来移除某个不再需要的分区,请务必确认该动作不会误删重要资料[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值