hive 字段类型变更级联

最新推荐文章于 2025-04-26 14:56:56 发布

数仓之路

最新推荐文章于 2025-04-26 14:56:56 发布

阅读量848

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据之路文章标签： hive 大数据 hadoop sql 数据仓库

本文链接：https://blog.youkuaiyun.com/CsDn_en/article/details/127015903

大数据之路专栏收录该内容

7 篇文章

订阅专栏

文章讲述了在数仓中对分区表进行字段类型变更时遇到的问题，如历史数据显示异常。解决方案是使用`ALTERTABLE`语句加上`CASCADE`选项，以级联更新所有分区的元数据。此外，还介绍了`CASCADE`在删除操作中的作用，以及`ALTERTABLE`命令用于更改列名称、类型、位置或注释的语法和示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、问题描述

踩坑：数仓的分区表，由于需求需要进行字段类型变更、新增字段等，例如要把int类型的字段改为bigint，直接执行的以下语句：

alter table table_name change column id id bigint;

出现的问题：之后的分区数据可以正常的显示，历史数据查出来的数据为0或者null，无论insert overwrite重新导数据、把有问题的分区数据删掉都不能正常显示。

二、问题解决

在我们执行更改字段类型、增加字段时，在语句末尾加上cascade

alter table table_name change column id id bigint cascade;

三、知识扩展

1、cascade的中文翻译为“级联”，也就是不仅变更新分区的表结构（metadata），同时也变更旧分区的表结构。
2、对于删除操作也是，级联删除表中的信息，当表A中的字段引用了表B中的字段时，一旦删除B中该字段的信息，表A的信息也自动删除。（当父表的信息删除，子表的信息也自动删除）
3、标准语法如下：

3.1 更改列名称/类型/位置/注释

ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
  [COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];

这个命令将允许用户更改列的名称，数据类型，注释或位置，或者它们的任意组合。PARTITION子句中从Hive0.14.0到更高版本;

CASCADE | RESTRICT子句中可用Hive1.1.0。ALTER TABLE CHANGE COLUMN与CASCADE配合更改表元数据的列，并对所有分区元数据进行相同的更改。RESTRICT是默认的，限制仅表中列的元数据发生变化。

ALTER TABLE CHANGE COLUMN CASCADE子句将覆盖表/分区相关列的元数据，而不管表或分区的保护模式如何。谨慎使用。

更改列命令将只修改配置单元的元数据，并且不会修改数据。用户应确保表/分区的实际数据与布局的元数据定义一致。

例：

CREATE TABLE test_change (a int, b int, c int);

// First change column a's name to a1.
ALTER TABLE test_change CHANGE a a1 INT;

// Next change column a1's name to a2, its data type to string, and put it after column b.
ALTER TABLE test_change CHANGE a1 a2 STRING AFTER b;
// The new table's structure is:  b int, a2 string, c int.

// Then change column c's name to c1, and put it as the first column.
ALTER TABLE test_change CHANGE c c1 INT FIRST;
// The new table's structure is:  c1 int, b int, a2 string.

// Add a comment to column a1
ALTER TABLE test_change CHANGE a1 a1 INT COMMENT 'this is column a1';

3.2 添加/替换列

ALTER TABLE table_name
  [PARTITION partition_spec]                 -- (Note: Hive 0.14.0 and later)
  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
  [CASCADE|RESTRICT]                         -- (Note: Hive 1.1.0 and later)

ADD COLUMNS允许您将新列添加到现有列之后，分区列之前。这个特性支持Avro的表， Hive0.14及更高版本。

REPLACE COLUMNS删除所有现有列，并增加了新的一组列。这只能是在表是本地SERDE（DynamicSerDe，MetadataTypedColumnsetSerDe，LazySimpleSerDe和ColumnarSerDe）的情况下完成。请参阅HiveSERDE以获取更多信息。REPLACE COLUMNS还可以用来删除列。例如，“ ALTER TABLE test_change REPLACE COLUMNS (a int, b int);”将于test_change的模式中删除列“C”。

PARTITION子句从Hive0.14.0 开始到更高版本;

ALTER TABLE ADD或REPLACE COLUMNS CASCADE将覆盖表分区的列的元数据，无视表或分区的的保护模式。请谨慎使用。

列更改命令将只修改配置单元的元数据，并且不会修改数据。用户应确保表/分区的实际数据与布局的元数据定义一致。