alter table add partition ... location ...语法

博客围绕Hive表进行测试,包含建表、添加分区、插入数据及查询等操作。测试发现使用alter table add if not exists partition....location....语法,会使Hive表新分区更换路径,新分区数据不在原始HDFS路径下,但不影响后续添加分区仍处于原始路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

结论


建表语句

create table `wxtest`(
`groupId` string,
`uuid` string,
`userId` string,
`dt_index` string)
partitioned by(
`dt` string,
`projId` string)
row format delimited
fields terminated by '\t';

添加两个分区

insert into table wxtest partition(dt='20190621' , projId='111') values('a1','b1','c1','d1');
insert into table wxtest partition(dt='20190622' , projId='112') values('a2','b2','c2','d2');

查询数据如下:

hive> select * from wxtest;
OK
a1      b1      c1      d1      20190621        111
a2      b2      c2      d2      20190622        112

下面是测试语法:

alter table wxtest add if not exists partition(dt='test1',projId='test2')
location '/home/hdp_teu_dpd/resultdata/wmda/terra/group/group_user_list/test1/test2';

然后往新分区里插入数据:

insert into table wxtest partition(dt='test1' , projId='test2') values('a3','b3','c3','d3');

然后查询hive表,发现hive表中是可以看到新分区(dt='test1' , projId='test2')的数据

hive> select * from wxtest;
OK
a1      b1      c1      d1      20190621        111
a2      b2      c2      d2      20190622        112
a3      b3      c3      d3      test1   test2

但是hive表的HDFS存储路径下,并没有该分区的信息,只有两个原始分区的数据

查询sql语句中,location后的路径,发现该分区数据跑这来了

然后再往hive表中添加一个新分区数据:

insert into table wxtest partition(dt='20190619' , projId='113') values('a4','b4','c4','d4');

发现该分区数据依然在hive表原始路径下

 


得出结论:

alter table add if not exists partition....location....

这种语法,只是将hive表的新分区换了一个路径,该新分区数据不在hive表原始HDFS路径下,

同时也不影响hive中后续添加分区,依然处于原始路径下

 

 

### Hive 中 `ALTER TABLE` 的用法详解 #### 删除分区的操作 在大数据环境中,Hive 提供了一种灵活的方式来管理数据表及其分区。其中,`ALTER TABLE ... DROP PARTITION` 命令用于删除指定的分区。此命令不会影响整个表结构,仅移除特定分区的数据以及元数据[^1]。 以下是执行该操作的具体语法: ```sql ALTER TABLE table_name DROP IF EXISTS PARTITION (partition_spec); ``` - **table_name**: 表名。 - **PARTITION(partition_spec)**: 需要删除的分区规格,通常由键值对表示,例如 `ds='2023-01-01'` 或者多个条件组合如 `(ds='2023-01-01', region='US')`。 如果希望一次性删除多个分区,则可以扩展语句如下所示: ```sql ALTER TABLE table_name DROP IF EXISTS PARTITION(ds='2023-01-01'), PARTITION(ds='2023-01-02'); ``` 以上代码片段展示了如何批量处理不同日期范围内的分区删除工作[^1]。 #### 添加新分区的例子 除了删除已有分区外,还可以利用 `ALTER TABLE ADD PARTITION` 来向现有表格增加新的分区定义。下面给出一个简单的例子说明这一过程: ```sql ALTER TABLE sales_data ADD PARTITION (year=2023, month=1) LOCATION '/path/to/data/2023/01'; ``` 这条SQL指令的作用是在名为 `sales_data` 的表里新增加了一个基于年份和月份划分的新分区,并指定了存储位置 `/path/to/data/2023/01`[^1]。 需要注意的是,在实际应用过程中应当谨慎对待这些修改动作,因为不当操作可能会导致重要业务数据丢失或者系统性能下降等问题发生。 #### 修改已存在分区的位置 当需要改变某个已经存在的分区所指向的实际文件路径时,可采用以下方法实现调整目的: ```sql ALTER TABLE logs CHANGE PARTITION (dt='2023-03-05') SET LOCATION 'hdfs://new/path/'; ``` 这里演示了怎样把日志表(logs)当中某一天(`dt='2023-03-05`)对应的物理地址更改为 HDFS 上另一个目录下的情况[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值