【无标题】hive外部表删除后,重建,恢复分区数据

最新推荐文章于 2025-03-15 23:56:07 发布

susalt

最新推荐文章于 2025-03-15 23:56:07 发布

阅读量537

点赞数 2

文章标签： hive hadoop 数据仓库

本文链接：https://blog.youkuaiyun.com/qq_45993667/article/details/137530617

版权

文章讲述了在删除外部表并丢失元数据后，尝试使用ALTERTABLE添加分区恢复数据的方法，指出MSCKREPAIRTABLE在此场景下无效并提及了报错情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

恢复分区数据

因为删除了外部表,表的元数据都删除了,重建外部表时,想要恢复分区数据时,需要通过alter添加partition分区恢复

ALTER TABLE database_name.table_name add partition (partiton_key='partition_value');

所遇问题

面对这种情况,使用msck repair table table_name来恢复分区数据是无效的,报错;

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

susalt

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HIVE外部表删除重建指定HDFS目录后查询不到数据

数据库

05-22

4438

HIVE外部表删除重建指定HDFS目录后查询不到数据，怎么办删除了外部表，没有删除hdfs文件重建了外部表又关联到之前的hdfs目录之后，select查询却没有数据需要MSCK REPAIR TABLE+tablename，之后查询，数据就回来了。 MSCK REPAIR TABLE命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 hive有个服务叫metastore，

Hive修改外部表分区名并且重命HDFS目录名字查询不到数据

杨鑫newlife的专栏

04-15

2685

问题描述： Hive创建的一张外部表 table_1, 有一个按照天增量存储的分区，dt=‘2020-04-01’ 我们通过 Hive 命令 ALTER TABLE 分区的名称修改为dt=‘2020-03-31’ ,我们也想把对应的HDFS目录改成dt=‘2020-03-31’ 但是发现查询的数据为空？？？原因：由于是外部表，所以Hive的元数据记录与数据的...

1 条评论您还未登录，请先登录后发表或查看评论

Hive外部表误删后的恢复

需求是无耻的

03-01

4206

Hive中的外部表是比较安全的一种数据管理方式，有时也会误删使用外部表有一个很好的好处，如果不小心将表误删了，只需要重新创建外部表然后使用下面的语句修复分区即可。MSCK REPAIR TABLE table_name;...

hive 外部表删除恢复数据

海边看花开的博客

10-07

906

需要执行下面语句，修复分区即可 MSCK REPAIR TABLE table_name; 可以看到，原来查询没有数据，执行MSCK REPAIR TABLE table_name; 在次查询有数据了

Hive删除有分区的外部表，重新插入，查询不到数据

m0_63246205的博客

12-29

722

我建了一个外部表，并且在创建表时设置了分区，当我把这个外部表删除后，重新建一模一样的表，却查询不到数据。（按理说，删除外部表，不会删除数据的，怎么会查不到数据呢）

HIVE修复分区或恢复外部表数据

weixin_42594269的博客

10-20

1359

外部表删除之后。新建外部表，需要把原来的数据导入到hive表中，可执行： msck repair table aggr_wide_user_behavior_detail;

hive删除数据进行恢复

weixin_43446246的博客

07-27

3305

hdfs dfs -cp 回收站目录数据/* 数据表存储目录/对恢复后的数据表进行验证，包括数据内容和数据条数的验证。（2）将回收站里的数据复制到表的数据存储目录。（3）执行hive的修复命令。

Hive 内部表与外部表深度解析：数据管理的最佳实践

最新发布

2401_83088008的博客

03-15

1019

在 Hive 数据管理中，内部表与外部表的选择本质上是数据控制权与灵活性的权衡。原始数据层：外部表管理，确保数据主权中间处理层：内部表加工，提升处理效率结果输出层：外部表共享，支持多系统访问通过合理的表类型组合，企业可以在数据安全、处理效率和跨平台协作之间找到最佳平衡点。未来随着 Hive 与湖仓架构的深度融合，这种设计模式将持续演进，成为大数据管理的核心范式。

Hive关于数据表的增删改（内部表、外部表、分区表、分桶表 & 数据类型、分隔符类型）

黄饱饱

08-26

791

建表基本语句格式 CREATE [external] TABLE if not exists student #默认建立内部表，加上external则是建立外部表 (id int COMMENT'学号',sname string COMMENT'用户名',age int COMMENT'年龄')#字段名称，字段类型，字段描述信息 COMMENT '记录学生学号'#表的描述信息 PART...

Hive创建外部表造成数据重复

JustinMars的博客

07-22

988

1.上传文件 hdfs dfs -put 1.txt /user/mars 2.创建表 create external table if not exists temp.student( school_name string comment "学校", user_name string comment "姓名", tel string comment "电话") row format delimited fields terminated by ',' stored as textfile; 3..

hive删除表后重新创建时提示表已存在并且卡死

硅谷工具人

09-08

1126

SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.iceberg.exceptions.AlreadyExistsException: Table w...

【hive】hive修复分区或修复表以及msck命令的使用

Mrerlou的博客

08-17

6227

我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时，有时会导致分区元数据不一致的情况。数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。之前hive里有数据，后面存储元数据信息的。

前几天同事误删除了一个表的数据，最终找回了，现在分享下经验

crazzy0727的专栏

07-09

629

SCN（系统改变号），它的英文全拼为：System Change Number ，它是数据库中非常重要的一个数据结构。　　SCN提供了Oracle的内部时钟机制，可被看作逻辑时钟，这对于恢复操作是至关重要的　　注释：Oracle 仅根据 SCN 执行恢复。　　它定义了数据库在某个确切时刻提交的版本。在事物提交时，它被赋予一个唯一的标示事物的SCN 。一些人认为 SCN 是指， Syst

不同集群 hive 表结构重新创建

mnasd的博客

04-17

437

导出表结构 #/bin/bash #hive -e" #show databases; #">databases.txt #sed -i '1d' databases.txt for database in `cat databases.txt` do echo database-------------- ${database} # hive -e "use ${database};" ...

大数据技术基础实验十：Hive实验——新建Hive表

北天的博客

11-05

2507

大数据基础技术实验十，学习掌握有关Hive表的创建查看删除等基础操作。

Windows如何创建恢复分区

2401_83047003的博客

01-02

1018

Windows如何手动创建恢复分区

hive 普通创建表和跟新列操作

weixin_30247307的博客

12-26

194

创建表 CREATE TABLE if not exists student ( student_id int, sex int, address String, email String ) 这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“'”,“;”这些，分号，hdfs认为...

hive中重建新表插入报错

sjw2020的博客

07-28

870

在hive中，会有这样一种情形： 1、创建一个分区外部表A(比如A表有5个字段)，并且向A表里指定的分区(比如20200728这个分区)里插入数据 2、发现A表缺少一些字段，因为存在元数据不实时更新的问题，不想更新元数据，就进行删表重新建表B(表B与表A除了多了几个字段外，别的都一样) 3、再执行hql脚本，把最新的字段样式的数据插入到20200728这个分区里会出现如下的报错： Failed with exception java.io.IOException: rename for src path:

hive 建表_Hive建表和内外部表的使用

weixin_40007668的博客

12-01

一、普通建表方式create table stu_info(id int,name string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '载入数据load data local inpath '/data/hivetest/stu_info_local' into table stu_info;load data inpath '/data/hiv...