Hive刷分区MSCK

最新推荐文章于 2024-09-25 11:47:40 发布
原创 最新推荐文章于 2024-09-25 11:47:40 发布 · 4.0k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Hive的MSCK RECOVER PARTITION功能来自动化处理HDFS中已存在的分区，避免手动执行多条ALTER语句。此功能检查并更新Hive metastore，确保元数据与实际文件系统同步。

一、介绍

我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。

具体语法如下：
 

MSCK REPAIR TABLE table_name;

原理相当简单，执行后，Hive会检测如果HDFS目录下存在但表的metastore中不存在的partition元信息，更新到metastore中。

二、测试

#当前没有partition元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
Time taken: 0.104 seconds
#创建两个分区目录
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201604;
#使用MSCK修复分区
hive> msck repair table cr_cdma_bsi_mscktest;
OK
Partitions not in metastore:	cr_cdma_bsi_mscktest:month=201603
Partitions not in metastore:	cr_cdma_bsi_mscktest:month=201604
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201603
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201604
Time taken: 0.286 seconds, Fetched: 2 row(
最低0.47元/天 解锁文章
Hive分区修复msck repair
清平乐的技术专栏
05-08 5585
Hive的[MSCK REPAIR TABLE] 命令全量修复分区，目的就是将分区信息更新到元数据库中。该命令通常用于分区表的分区修复。 官方解释：（翻译版） Hive将每个表的分区信息保存在metastore中，如果通过hadoop fs -put命令直接将分区信息添加到HDFS，metastore是不会感知到这些新增的分区，除非执行了ALTER TABLE table_name ADD PARTITION命令。但是用户可以运行metastore检查命令MSCK REPAIR TABLE table_n
Hive分区修复命令MSCK介绍与使用
zhaoguowei的博客
03-27 2745
我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能供我们查询使用，我们一般会想到使用 alter table add partition 命令手动添加分区，但是如果初始化的分区太多，这样一条一条地手动添加分区不免过于麻...
hive如何刷新现有分区
别人笑我太疯癫，我笑他人看不穿。
09-25 1098
应当注意的是，如果元数据中存在，但实际数据路径不存在，hive会删除元数据中的消息，而不是去新增底层数据路径。反之如果元数据中不存在，单实际路径中存在，hive会新增元数据信息。hive刷新现有分区的需求，一般出现在你操组分区数据时采用了其他手段，也有极少的情况是有的发行版会删除历史很久的分区，总之各种原因导致的元数据和实际数据的分区对不上。这个报错是值，实际路径中存在过去不hive校验的数据，通常是路径有特殊字符、数据文件格式不对等，此时如果你已经确定数据没有问题，但就是过不去校验，可以使用下面的配置。
hive笔记-刷新分区
热门推荐
然然然星人的博客
01-14 1万+
1、选择一张分区表（本次取的是内部表），把分区数据取到本地。[root@hadoop001 hiveData]# hadoop fs -get /user/hive/warehouse/emp_dept_partition/deptno=30/000000_0 emp_dept_partition-deptno30 [root@hadoop001 hiveData]# ls dept emp_d...
一百九十、Hive——Hive刷新分区MSCK REPAIR TABLE
tiantang2renjian的博客
10-17 1437
Hive——Hive刷新分区MSCK REPAIR TABLE
hive中刷新分区数据
weixin_45108435的博客
06-07 296
hive中刷新分区数据
hive 分区表新增字段 刷新字段值
qq_40771567的博客
01-25 2620
hive当天分区新增了字段，查询发现全是null 1、删除分区 ALTER TABLE test DROP PARTITION (dt='20220125'); 2、查看分区路径 desc formatted ods.test partition(dt='20220124'); 3、重建分区 ALTER TABLE ods.test add PARTITION (dt='20220125') location 'hdfs:///20220125'; 完毕。 ...
hive 修复分区 MSCK REPAIR TABLE
11-24 2072
MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来： 解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore， 这个服务主要是存储一些元数据信息， 比如数据库名，表名或者表的分区等等信息。 如果不是通过hive的insert等插入语句， 很多分区信息在metastore中是没有的， 如果插入分区数据量很多的话， 你用 ALTER TABLE table_na
hive 分区表msck命令
yzgyjyw的博客
06-13 9096
当我们创建好一个分区表的时候：CREATE external TABLE IF NOT EXISTS db01.employees( name STRING COMMENT 'Employee name', salary FLOAT COMMENT 'Employee salary') partitioned by (country string) ROW FORMAT DELIMITED FIE
hive 一次更新多个分区的数据
weixin_34074740的博客
01-18 1380
类似订单数据之类的表，因为有状态要更新，比如订单状态，物流状态之类的， 这样就需要同步很久之前的数据，目前我的订单表是更新前面100天的数据。 hive中操作是先删除前面100个分区的数据，然后重新动态分区100天的数据。 1、alter table 表名 drop partition(日期字段>='2017-01-01') 2. INSERT OVERWRITE TABLE 表名...
hive MSCK 修复分区
wflh323的专栏
06-12 3799
在日常工作中会遇到基于某种原因hive 表有很多历史数据按目录存放但并没有添加到hive表中，用户需要历史数据需重新修复添加分区，命令如下： MSCK REPAIR TABLE table_name; 为了让 MSCK 命令工作，分区的目录名必须是 /partition_name=partition_value/结构的，否则将无法添加分区。这时候你必须使用add partition命令了 ...
hive基础，创建表如何指定分区、如何设置永久严格模式
抱富的博客
02-02 2029
1、 1.在hadoop的家目录下新建一个目录datas： mkdir datas 2.通过xftp将数据源文件传到datas中 3.“hadoop fs -mkdir /datas” 4.“hadoop fs -chmod g+w /datas” 5.“hadoop fs -put /home/hadoop/datas/* /datas” –1.创建kaikeba库 create databas...
hive表分区的修复
硅谷工具人
01-08 328
hive从低版本升级到高版本或者做hadoop的集群数据迁移时，需要重新创建表和表分区，由于使用的是动态分区，所以需要重新刷新分区表字段，否则无法查看数据。 在hive中执行中以下命令即可自动更新元数据中的表分区： MSCK REPAIR TABLE 表名; 后记： 今天同事在测试从其他集群移过来的数据时，发现使用count统计记录数时显示为0. 由于没有分区字段，即是用了msck也不...
hive表修复分区--（导入hdfs文件，hive表刷新不出来）
小白学编程
10-09 5247
msck repair table 表名 作用是将任何存在于hdfs，但不在metastore上的partition元信息更新到metastore中
Hive操作表分区
liuguangfudan的博客
12-06 706
创建分区表语句，使用关键字partition partitions a、单分区建表语句：b、 双分区建表语句： 添加分区 删除分区 数据加载进分区表 查看分区
使用MSCK命令修复Hive表分区
yisun123456的博客
12-03 3194
一、介绍 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。 具体语法如下： MSCK REPAIR TABLE table_name; 原理相当简单，执行后，Hive会检...
【hive】hive修复分区或修复表 以及msck命令的使用
Mrerlou的博客
08-17 6948
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时，有时会导致分区元数据不一致的情况。数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。之前hive里有数据，后面存储元数据信息的。
2.6 hive分区表
weixin_30410999的博客
04-23 92
一、背景######### 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。 Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。 在查询时通过WHERE子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多。 ######### 在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作...
HIVE删除分区
最新发布
09-30
<think>首先，用户的问题是关于HIVE删除分区的方法。我需要基于提供的引用内容来回答问题。引用[1]到[5]都涉及HIVE删除分区的具体操作。 关键点从引用中提取： - 引用[1]：使用 `ALTER TABLE DROP PARTITION` 语句删除分区。例子：`ALTER TABLE logs DROP PARTITION (date = '2018-01-01');` 也提到支持范围操作，如 `<` 或 `>`，但某些工具可能不支持。还讨论了删除整个分区目录使用HDFS命令，如 `hdfs dfs -rm -r`，之后需要执行 `MSCK REPAIR TABLE` 来刷新元数据。 - 引用[2]：类似地，使用 `ALTER TABLE ... DROP PARTITION`。例子：`alter table mydw.dm_msg_push_sum_day drop partition(dt='20210219');` 提到语法 `DROP IF EXISTS` 来避免错误。 - 引用[3]：讨论分区元数据在MySQL中管理，删除分区时涉及转义字符。 - 引用[4]：展示删除多个分区的方法：`alter table test_dt drop partition (dt >= '2021-10-01' , dt <= '2021-10-04');` - 引用[5]：主要关于创建分区表和加载数据，但包括分区查询的例子，不直接相关。 用户的具体需求是“查找HIVE删除分区的方法”，所以我需要综合这些信息提供一个清晰的解释。 回答结构： - 系统指令要求使用中文回答。 - 结构清晰：逐步解释方法。 - 在行内数学表达式中使用 `$...$`，但这里可能不涉及数学，除非有变量名等。 - 独立公式使用 `$$...$$`，同样可能不适用。 - 生成相关问题。 - 末尾添加引用标识，如 `[^1]`。 - 回答真实可靠，基于引用。 主要方法： 1. 使用 `ALTER TABLE DROP PARTITION`：这是标准方法，支持删除单个或多个分区。 - 单个分区：`ALTER TABLE table_name DROP PARTITION (partition_column = 'value');` - 多个分区：可以使用范围操作符，如 `>=`, `<=`（引用[4]）。 2. 可选方法：直接删除HDFS分区目录，然后刷新元数据（引用[1]）。但这不是标准做法，可能导致不一致，需要手动执行 `MSCK REPAIR TABLE`。 3. 注意事项：确保数据备份；使用 `IF EXISTS` 来避免错误（引用[2]）；分区元数据涉及转义字符（引用[3]）。 回答大纲： 1. 介绍标准方法：使用 `ALTER TABLE DROP PARTITION`。 2. 详细说明语法： - 单个分区删除。 - 多个分区删除（支持范围）。 3. 提到替代方法（删除HDFS目录）。 4. 注意事项：数据备份、元数据刷新。 5. 结尾生成相关问题。 生成相关问题： - 基于主题，如：如何删除多个分区？什么是 `MSCK REPAIR TABLE`？如何处理分区转义问题？ 引用标识：在回答中自然地添加引用，例如提到方法时说“根据引用[1]”。 最终回答格式： - 以段落形式解释。 - 包括代码块如果需要（系统指令允许代码块）。 - 结束相关问题。 </think>### HIVE删除分区的方法 在Hive中，删除分区通常使用SQL语句操作，这涉及元数据管理和实际数据删除。以下是基于标准实践的逐步说明，综合了多个权威引用内容。删除分区时，建议优先使用Hive SQL命令以确保元数据一致性，避免直接操作HDFS文件系统带来的风险。删除前请务必**备份重要数据**，以免意外丢失数据[^1]。 #### 1. **标准方法：使用`ALTER TABLE DROP PARTITION`语句** - **删除单个分区**：通过指定分区键和值来删除单个分区。语法为： ```sql ALTER TABLE table_name DROP PARTITION (partition_column = 'partition_value'); ``` - 示例：删除表`logs`中`date`分区列为`2024-01-01`的分区。 ```sql ALTER TABLE logs DROP PARTITION (date = '2024-01-01'); ``` 此方法直接更新Hive元数据表（如MySQL中的`PARTITIONS`表），并自动处理文件系统删除[^1][^2]。 - **删除多个分区**：支持使用范围操作符（如`>`、`<`、`>=`、`<=`）一次性删除多个分区。语法为： ```sql ALTER TABLE table_name DROP PARTITION (partition_column >= 'start_value', partition_column <= 'end_value'); ``` - 示例：删除表`test_dt`中`dt`分区列值在`2021-10-01`到`2021-10-04`之间的所有分区。 ```sql ALTER TABLE test_dt DROP PARTITION (dt >= '2021-10-01', dt <= '2021-10-04'); ``` 这适用于批量清理旧数据，但需注意：在某些工具（如Kyuubi）中可能不支持范围操作，需直接使用Hive CLI或Beeline执行[^1][^4]。 - **添加错误处理**：使用`IF EXISTS`选项避免因分区不存在而报错。 ```sql ALTER TABLE table_name DROP IF EXISTS PARTITION (partition_column = 'value'); ``` 示例：`ALTER TABLE data_test DROP IF EXISTS PARTITION (date=20190909);`[^2]。 #### 2. **替代方法：直接删除HDFS目录（不推荐）** - 如果SQL语句无法使用（如元数据损坏时），可直接操作HDFS文件系统删除分区目录。但这需要手动刷新元数据。 - 步骤： 1. 删除HDFS目录： ```bash hdfs dfs -rm -r /user/hive/warehouse/table_name/partition_column=partition_value ``` 示例：删除`logs`表中`date='2018-01-01'`的分区目录。 ```bash hdfs dfs -rm -r /user/hive/warehouse/logs/date=2018-01-01 ``` 2. **手动刷新元数据**：执行`MSCK REPAIR TABLE table_name;`以同步Hive元数据，避免查询错误[^1]。 - 风险：此方法可能导致元数据不一致，仅适用于紧急修复场景。删除目录后必须刷新元数据，否则Hive无法识别变更[^1][^3]。 #### 3. **关键注意事项** - **分区转义字符处理**：Hive分区值存储在元数据库（如MySQL）时会自动转义特殊字符（如`:`或` `）。如果输入值包含转义字符（如`date='2024:01:01'`），Hive会内部处理，用户无需额外操作。但直接操作HDFS时需注意路径格式[^3]。 - **数据备份**：删除分区不可逆，建议先查询分区是否存在： ```sql SHOW PARTITIONS table_name PARTITION (partition_column = 'value'); ``` - **分区范围限制**：范围删除（如`dt >= 'value'`）在Hive 2.0及以上版本支持良好，但需确保分区列为字符串或日期类型[^4][^5]。 - **元数据影响**：删除分区会更新Hive的元数据表（如`PARTITIONS`），可能影响性能。对于大型表，建议在低峰期操作[^1][^3]。 #### 4. **示例完整流程** 假设删除表`sales`中`month`分区列为`2024-05`的分区： 1. 备份数据（可选）：导出分区数据到其他位置。 2. 执行删除： ```sql ALTER TABLE sales DROP IF EXISTS PARTITION (month = '2024-05'); ``` 3. 验证：运行`SHOW PARTITIONS sales;`检查分区是否移除。 通过以上方法，您可以安全高效地管理Hive分区。操作后，如果使用HDFS命令或遇到元数据问题，记得执行`MSCK REPAIR TABLE`[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值