使用MSCK命令修复Hive表分区

本文详细介绍了Hive中RecoverPartition功能的使用方法,包括如何通过MSCK REPAIR TABLE命令自动检测并修复HDFS目录下存在的但未在metastore中注册的分区元信息。适用于数据迁移场景,特别是当需要将分区信息添加到目标hive表的元数据信息中时。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、介绍

我们平时通常是通过alter table add partition方式增加Hive的分区的,但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录,如果目录多,需要执行多条alter语句,非常麻烦。Hive提供了一个"Recover Partition"的功能。

具体语法如下:

MSCK REPAIR TABLE table_name;
原理相当简单,执行后,Hive会检测如果HDFS目录下存在但表的metastore中不存在的partition元信息,更新到metastore中。


二、测试

#当前没有partition元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
Time taken: 0.104 seconds
#创建两个分区目录
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201604;
#使用MSCK修复分区
hive> msck repair table cr_cdma_bsi_mscktest;
OK
Partitions not in metastore:    cr_cdma_bsi_mscktest:month=201603
Partitions not in metastore:    cr_cdma_bsi_mscktest:month=201604
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201603
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201604
Time taken: 0.286 seconds, Fetched: 2 row(s)
#再次查看,发现已经成功更新元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
month=201603
month=201604
Time taken: 0.102 seconds, Fetched: 1 row(s)

--------------------- 

当对hive表进行数据迁移时,通常在目标集群或库先建立表结构,然后将数据文件copy过去。

如果迁移的表有分区,需要在数据copy过去后对表分区进行修复,将分区信息添加到hive表的元数据信息中

第一种情况:一层分区的情况

        执行 MSCK REPAIR TABLE table_name;

第二种情况:多层分区情况

        执行 set hive.msck.path.validation=ignore;

                MSCK REPAIR TABLE table_name;
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值