hive Recover Partitions命令MSCK REPAIR TABLE table_name

最新推荐文章于 2025-06-28 00:22:59 发布
最新推荐文章于 2025-06-28 00:22:59 发布
阅读量9.5k 收藏 2
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Johnny_Lee/article/details/19400219
本文探讨了使用Hadoop命令复制删除Hive存储数据后，元数据与HDFS数据不一致导致的问题，并介绍了通过MSCK REPAIR TABLE和ALTER TABLE RECOVER PARTITIONS命令解决此问题的方法，确保数据的一致性和查询准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

直接用hadoop命令复制删除hive存储数据后，需要add partition或alter来同步源数据信息，否则drop表等操作时会查询元数据metastore，查到metastore信息和hdfs信息不一致，会报错。这个也可算是hive的bug，尚未修复，但也可以理解为初衷不建议直接操作hdfs数据。
目前，可以采用命令： 
  1. MSCK REPAIR TABLE table_name;  

该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。

Recover Partitions

Hive在metastore中存储每个表的分区列表，如果新的分区加入HDFS后，metastore不会注意这些分区，除非

ALTER TABLE table_name ADD PARTITION

当然可以通过

MSCK REPAIR TABLE table_name;

类似EMR版本中的如下命令

ALTER TABLE table_name RECOVER PARTITIONS;


  
Hive修复分区或修复表 以及msck命令的使用
数据与算法架构提升之路专栏
02-14 1600
hive里有数据，MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失。可以使用msck repair table xxxxx命令修复！
Hive：Alter Table/Partition/Column
qiulinsama的博客
03-11 1万+
Alter Table/Partition/Column Alter Table Rename Table Alter Table Properties Alter Table Comment Add SerDe Properties Alter Table Storage Properties Alter Table Skewed or Stored as Directories A...
硬盘分区恢复工具partition recovery2.0中文注册版.zip
09-05
软件介绍: 软件启动之后默认的界面为英文，感觉使用不便的话，请点击菜单View--->Language-->选择中国，即可切换到简体中文版。是一款数据恢复工具，通过它能帮您从毁坏、删除、格式化和新创建的分区中恢复信息。在分析期间程序会提取所有相关信息并恢复驱动器的逻辑结构，由此找到所有已删除文件和目录。恢复过程极其简单，从新手到专家的所有用户均可掌握。只需遵循向导中的说明೦全盘分析会查找所有可用信息：NTFS(win7/2008/vista/2003/xp/2k/nt)FAT(USB驱动器,数码相机、内存卡、Windows9x）知晓内容的分析，正在查找文件内容。快速扫描：使用全盘分析时程序会查找磁盘上所有相关信息并恢复文件系统。因此所有相关文件都将被恢复.恢复后的文件可以保存到硬盘上，烧录到CD/DVD光盘上，也可以创建ISO虚拟镜像或者通过FTP上传。
hive recover partition
韩王-信
12-18 1295
在hive中表的分区是以子目录的形式存在的，而分区表的信息会存储到hive的元数据库中，但是如果是在HDFS 中hive目录下的某张表的目录下直接建立一个目录作为分区，则需要运行以下命令来让hive发现这个分区以更新元数据库 MSCK REPAIR TABLE table_name;
离线数仓避坑指南：Hive分区表数据在HDFS却查不到？详解MSCK REPAIR TABLE解决方案
最新发布
zuse_Uzi的博客
06-28 570
摘要： 当离线数仓ETL任务直接写入HDFS分区路径（如dt=20230601）后，Hive/SparkSQL查询返回空结果，原因是Hive元数据未同步更新。解决方案：使用MSCK REPAIR TABLE命令自动扫描HDFS目录，修复元数据缺失的分区。需确保分区路径命名规范（如分区键=分区值），并赋予执行账号ALTER权限。对于海量分区表，可指定层级优化性能。修复后，分区和数据即可正常查询。
hive的Recover partitions是个好东西
08-08 187
[size=medium]之前从ｈａｄｏｏｐ复制数据到ｈｉｖｅ之后，每次都要ａｄｄ　partition． 不然ｈｉｖｅ的ｍｅｔａ　ｄａｔｅ没这个分区的信息，是查不到数据的． 感觉好苦逼． 后来发现可以这样[/size] [code="java"] MSCK REPAIR TABLE table_name; [/code] [size=medium]这个命令会把没添加进partit...
Hive 修复分区 MSCK REPAIR TABLE
大数据技术分享
11-07 1万+
转载自：润土1030 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来： 解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore， 这个服务主要是存储一些元数据信息， 比如数据库名，表名或者表的分区等等信息。 如果不是通过hive的...
使用MSCK命令修复Hive表分区
yisun123456的博客
12-03 3161
一、介绍 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。 具体语法如下： MSCK REPAIR TABLE table_name; 原理相当简单，执行后，Hive会检...
Hive分区修复命令MSCK介绍与使用
zhaoguowei的博客
03-27 2685
我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能供我们查询使用，我们一般会想到使用 alter table add partition 命令手动添加分区，但是如果初始化的分区太多，这样一条一条地手动添加分区不免过于麻...
Hive刷分区MSCK
BabyFish13
12-29 1201
但是修改这个参数有个风险，就是你在未来操作这些问题分区的数据文件时，由于你当时没有排查并解决这些问题，可能导致操作报错，博主有过因为跳过验证后期在删除历史无用的分区时报空指针的问题。，Hive表分区连贯性检查），运行MASK REPAIR TABLE 后，Hive会去检测这个表在HDFS上的文件，把没有写入metastore的分区信息写入到metastore。ADD PARTITION不会去直接操作对应的数据路径，和msck的时候一样，对于需要追加的新分区只操作元数据的新增。原理相当简单，执行后，
Hive修复分区
通往IT大道的专栏
02-02 1331
执行后，Hive会检查表的分区列在HDFS中的路径，并将在HDFS中找到但Hive元数据中缺失的分区添加到元数据中。命令将会从Hive元数据中移除对应这个已删除目录的分区信息，因为该命令会发现HDFS上不再有这个分区的目录，并更新Hive元数据以反映这个变化。若希望恢复被删除的分区数据，你要从备份中恢复数据或者重新计算并重新写入这些分区数据到HDFS中。命令的作用是同步Hive元数据与HDFS上当前的实际文件系统状态，它会添加那些存在于HDFS上但尚未在Hive元数据中注册的分区。
recovery partition creator 3.8 支持10.7~10.10 楼主亲测10.11同样有效
01-25
recovery partition creator 3.8 支持10.7~10.10 楼主亲测10.11同样有效，治好了楼主mac无恢复分区多年的毛病
msck repair命令 修复表分区
cuituancheng9378的博客
01-04 1297
msckrepairtable 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。 场景： ...
HIVE常用命令之MSCK REPAIR TABLE命令简述
weixin_42326851的博客
03-08 3986
HIVE常用命令之MSCK REPAIR TABLE命令简述
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
zcs2312852665的博客
01-12 2551
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
hive 分区表（msck repair 、动态分区）、分桶表（Load语句不会分桶）、抽样查询
热门推荐
不是一枚开发
07-03 7万+
  （1）创建分区表语法 注：，可将分区字段视为表的伪列。   （2）加载本地文件数据到指定分区 1.2 增加删除多个分区、查看表的分区   （1）增加分区 注：无需隔开   （2）删除分区   （3）查看分区表的分区   （1）创建分区表语法   （2）加载本地文件数据到指定分区   （3）查询分区数据   命令用于修复表分区，常用于手动复制分区数据到hive表location下，此分区没有记录到Hive元数据，所以查不到数据如：   上传数据：   查询不到结果：   执行修复命令：   查询
HIVE常用命令之MSCK REPAIR TABLE
newchitu的博客
08-05 3630
目录 MSCK REPAIR TABLE 命令是做啥的 例子 后续 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表...
【hive】hive修复分区或修复表 以及msck命令的使用
Mrerlou的博客
08-17 6553
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时，有时会导致分区元数据不一致的情况。数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。之前hive里有数据，后面存储元数据信息的。
hive清空表命令
06-14
### Hive 清空表数据的命令 在 Hive 中，清空表数据的操作可以通过多种方式实现，具体取决于表的类型（内部表或外部表）以及需求。以下是几种常用的方法： #### 1. 使用 `TRUNCATE` 命令 对于内部表，可以使用 `TRUNCATE` 命令快速清空表中的所有数据，但保留表结构。此命令不会影响外部表的数据[^1]。 ```sql TRUNCATE TABLE sales_info; ``` 执行后，表中的所有数据将被删除，但表结构保持不变。 #### 2. 使用 `INSERT OVERWRITE` 覆盖数据 通过 `INSERT OVERWRITE` 命令，可以选择性地覆盖表中的数据。如果条件为空，则相当于清空表数据[^2]。 ```sql INSERT OVERWRITE TABLE test_table SELECT * FROM test_table WHERE 1=0; ``` 此方法适用于内部表和外部表，但需要确保目标表与源表的结构一致。 #### 3. 删除外部表数据 对于外部表，`TRUNCATE` 命令仅删除元数据而不删除实际存储的数据。要清空外部表的数据，可以通过以下方法实现： ##### 3.1 使用 Hadoop 命令删除 HDFS 数据 找到外部表对应的 HDFS 存储路径，并使用 Hadoop 命令删除该路径下的数据文件[^3]。 ```bash hadoop fs -rm -r /user/hive/warehouse/database_name.db/table_name ``` 随后，可以删除元数据： ```sql DROP TABLE table_name; ``` ##### 3.2 配置外部表删除数据属性 从 Hive 4.0.0 开始，可以通过设置表属性 `external.table.purge=true`，使得在删除外部表时同时删除其对应的数据文件[^5]。 ```sql ALTER TABLE table_name SET TBLPROPERTIES('external.table.purge'='true'); DROP TABLE table_name; ``` #### 4. 修复分区表元数据 如果表包含分区且部分数据被手动删除，可以使用 `MSCK REPAIR TABLE` 或 `ALTER TABLE ... RECOVER PARTITIONS` 命令修复元数据[^4]。 ```sql MSCK REPAIR TABLE tableName SYNC PARTITIONS; -- 或者 ALTER TABLE tableName RECOVER PARTITIONS; ``` ### 注意事项 - `TRUNCATE` 命令仅适用于内部表，不支持外部表。 - 对于外部表，建议直接操作 HDFS 数据文件或通过配置表属性实现数据清理。 - 在执行数据清理操作前，请确保已备份重要数据，避免误删。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值