Hive删表或删除分区HDFS中文件未删除时的查询异常

最新推荐文章于 2025-06-10 14:03:42 发布
原创 最新推荐文章于 2025-06-10 14:03:42 发布 · 8.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讨论了在Hive中删除表或分区后，HDFS上的文件未被同步删除导致的数据查询异常问题。当重新创建表或在已删除的分区中添加新数据时，可能会出现无法查询到新数据的情况。为解决这一问题，当前的做法是手动删除HDFS中的遗留文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive删表或删除分区HDFS中文件未删除时的查询异常

语句

1-1.Drop table
DROP TABLE [IF EXISTS] table_name;
1-2.删除分区
ALTER TABLE table_name DROP [IF EXISTS] PARTITION partition_spec, PARTITION partition_spec,...;

发现删除分区或drop掉表后HDFS上文件还在，此时重新建表或者在删除分区中添加数据，不能查询到数据，还没找到好的办法，目前先手动删掉HDFS中的文件，在新建表或者在新分区中添加数据。

HIVE外部表删除重建指定HDFS目录后查询不到数据
数据库
05-22 4486
HIVE外部表删除重建指定HDFS目录后查询不到数据，怎么办 删除了外部表，没有删除hdfs文件 重建了外部表又关联到之前的hdfs目录之后，select查询却没有数据 需要MSCK REPAIR TABLE+tablename，之后查询，数据就回来了。 MSCK REPAIR TABLE命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 hive有个服务叫metastore，
shell脚本删除hive外部表用户指定多分区数据(删除hdfs上元数据)
hetry_liang的博客
04-02 1185
1、首先我们创建一个多分区的外部表:tmp.clear_external_mulpartitiondata_test2,其中分区字段为year,month,day;并向该表中插入数据。 -- 创建源数据表tmp.cleardata_test2，并手动插入数据 drop table if exists tmp.cleardata_test2; create table if not exists tmp.cleardata_test2( stuid string, stuname string,
记一次Hive库里手动删除表，但是HDFS上还存在表文件奇怪问题
热门推荐
心向，往之
11-05 1万+
正常在hive库即hive命令行中删除一张表，hdfs上也是同步的被删除的，但是这次发现在hive里手动建了一张表，然后使用drop table 表名后，hive库里的确没发现这张表了，但是HDFS上还是有。 我使用的建表建库语句： create database test1 location 'hdfs://beh/user/test1/test1.db';   //创建库指定路径 use ...
hive 删除表数据 hdfs没有删除_把数据表中对应工作表的数据首先删除，然后导入数据...
weixin_34345695的博客
01-26 763
大家好,我们今日继续讲解VBA数据库解决方案的第28讲内容：利用VBA，把数据表中对应工作表的数据首先删除,然后向数据表中导入工作表数据。数据库的讲解已经持续一段时间了，从对简单数据库的认识到利用VBA对数据库的操作，我们一步步的走来，估计大家已经学到了很多知识。最近的内容主要是操作，我把我可能想到的各种情况给大家介绍讲解，这些都是我们在实际的工作中会遇到的情况，只要大家掌握了代码，并结合一下自己...
hive如何删除分区
最新发布
2501_90817125的博客
06-10 392
建议在非高峰时段执行删除操作，避免影响集群性能。
hive执行drop表之后没有彻底删除
syd19950119的博客
02-21 1249
我执行drop表之后，客户端查看表已删除，但是我插入新的数据还是之前的旧数据 纠结了一会，开始没发现是之前表的数据，一直以为是给我的文件里有隐藏字段，让其他同事也试了几遍之后还是一样的效果，有一个同事换了个库成功了 我就上hdfs上看了一下，我删了表之后表文件还在，猜到问题可能出现在hive和hdfs的权限上 突然想到之前恢复集群数据切换过hdfs用户，可能是那会切换了之后直接登录的hive，建表之后现在的用户没有权限删除 在切换用户登录hive之后成功删除成功 问题就在于你目前登录的用户不一定有最大的权限
hive删除表或分区但是HDFS里面数据还在
醉月含的博客
11-14 7119
仅在这里说一下自己遇到的问题，以及解决方案。不保证正确。 在spark里面创建了一个分区表，删除分区后导入新的数据到相同分区。发现有两份数据。 后来排查，删除分区后，在hive里面看不到分区了，但是在hdfs里面数据仍然存在，所以当相应分区重新创建时，hdfs里的数据又能查询到了。 truncate table时遇到错误，不能truncate外部表。 于是使用desc formatted tab...
hive表删除分区后，重新插入，查询不到数据问题
雾岛与鲸的博客
07-30 3388
1、选择一张分区表（本次取的是内部表），把分区数据取到本地。 [root@hadoop001 hiveData]# hadoop fs -get /user/hive/warehouse/emp_dept_partition/deptno=30/000000_0 emp_dept_partition-deptno30 [root@hadoop001 hiveData]# ls dept emp_dept_partition-deptno30 emp.txt 2、删除该分区 hive> ALTER
删除hive的部分分区后，Presto查询数据失败，但是Hive查询却有数据
Coding Space
02-17 4118
文章目录1.异常信息2.原因3.解决方案 1.异常信息 查询使用presto查询hive表，显示partition location dose not exist: hdfs:\xxxx 2.原因 对hive数据分区进行了物理删除，但是hive查询时可以屏蔽该错误，但是Presto查询的时候不能屏蔽该错误，而是将该错误抛出。 3.解决方案 手动删除hive的元数据中的分区信息，如下所示： alt...
如何将 Hive 表数据导出到 HDFS 或本地文件系统
2401_83088008的博客
03-17 1012
将 Hive 表数据导出到 HDFS 或本地文件系统是大数据处理中常见且重要的操作。通过 Hive 命令行、Sqoop 工具以及编程方式（如使用 Hive JDBC），我们能够灵活地将数据导出到所需的位置。在实际操作过程中，需要注意权限、数据格式以及数据量对性能的影响等问题。根据不同的业务场景和需求，选择合适的导出方法能够提高数据处理的效率和准确性。无论是为了数据备份、数据迁移还是与其他工具协同工作，掌握 Hive 表数据导出的技巧都能为大数据项目的成功实施提供有力支持。
删除hive内部表指定前n天的分区,删除hive外部表指定前n天的分区以及hdfs的数据
weixin_43650621的博客
01-17 4239
#!/bin/sh #date:2019-01-17 #creator:xxxxxxx #useto:删除hive内部表指定前n天的分区,删除hive外部表指定前n天的分区以及hdfs的数据（删除数据有两种：一种是根据文件名，一种是根据更新日期）。执行两者的前提为必须以日期为分区 source ~/.bashrc # 当前时间戳 today_timestamp=$(date -d "$(date ...
想写个博客：为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在
Yao1100000的博客
07-26 1198
为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在 答：根本删除不掉，这个表的结构信息仍然存在。当你在启动hive后的shell窗口里再次插入数据的时候，再去浏览器查看hdfs文件系统，你就会发现，你又可以看到原先好像删除的表信息了。多试几遍，用Hadoop命令直接删除文件系统上的hive仓库里的表信息，你就会发现： 确确实实，你把hdfs文件系统上的hive仓库里的这个表删除了，但是，mysql里的元数据信息你没有删，所以，当
impala删表，而hdfs上文件却还在异常处理
weixin_30651273的博客
09-20 685
Impala/hive删除表，drop后，hdfs上文件却还在处理方法： 问题原因分析，如下如可以看出一个属组是hive，一个是impala，keberas账号登录hive用户无法删除impala用户文件，则会出现异常 GSS initiate failed [Caused by GSSException: No valid credentials provided (…………...
记录hive数据库错误分区无法删除的问题
qq_45635773的博客
10-10 1187
hive异常分区无法删除的解决办法
HDFS文件删除后,HIVE元数据还存在的问题
bigdata_player
08-30 1787
即HDFS数据删除了，但是hive metastore元数据却没有更新，使用show partitions tablename 发现该分区还存在。手动在hdfs上删除了一个表的分区数据(inc_day=2023-08-30)，当查询这个表这个分区的数据时报错文件不存在。
HDFS删除文件之后空间不释放,LINUX删除文件之后空间不释放
liu82327114的博客
11-27 8874
删除文件之后空间不释放在我这遇到的情况主要有两种： 1.hdfs删除文件之后空间不释放 针对此种情况主要是hdfs的回收站功能，为了防止文件误删除，删除的文件会先放到回收站里。 删除的时候也可以直接彻底删除，只需 hdfsdfs -rm -r -skipTrash即可 也可以禁用hdfs的回收站功能，hdfs回收站的功能控制是zaicore-site.xml文件中 ...
spark中HDFS文件操作，hive表操作
Code_LT的博客
09-16 2869
import java.io.OutputStreamWriter /** * 读取hdfs文件 * * @param aPath 要读取的文件路径,如hdfs://clusterA/direct1/text1.txt" * @return */ val sc = SparkSession.builder().enableHiveSupport().getOrCr...
为什么在hive里drop掉表信息后，再创建相同的表，还能再查出原来那张表的数据
Yao1100000的博客
07-27 2050
因为这里你建立的是一个外部表，所以表数据不被hive所有。而且当你创建这个表的时候，表的元数据结构信息，就被保存到了MySQL备份了，所以当你在hive里drop表的时候就只是drop掉了，表的结构信息，但是这个元数据信息还备份在MySQL里的。MySQL指向的是Hadoop的文件系统，并没有收到丝毫影响。所以当你再去hive里创建这个表的时候，映射到MySQL，发现已经有这个元数据了，而且指向的hdfs上还有数据，所以能直接查出来。 ...
iceberg 删除catalog失败，提示找不到hdfs的文件
spark_dev的博客
01-18 715
项目场景： 重建hive catalog，删除hdfs的数据，后删除catalog失败 问题描述： 1.先直接删除hdfs文件，在删除catalog，删catalog报错，提示找不到hdfs的文件 Flink SQL> drop table jv_h5_client_log; [ERROR] Could not execute SQL statement. Reason: org.apache.hadoop.ipc.RemoteException: File does not exist:
查看HDFS中hive数据仓库中的分区表中的所有分区和部分分区数据
06-06
好的，您可以使用以下步骤来查看HDFS中Hive数据仓库中的分区表的所有分区和部分分区数据： 1. 首先需要进入到HDFS的命令行界面，可以使用以下命令： ```shell hdfs dfs -ls / ``` 该命令可以列出HDFS根目录下的所有文件和目录。如果您已经知道Hive数据仓库在HDFS上的具体路径，可以直接进入该目录；否则可以使用以下命令查找： ```shell hdfs dfs -ls -R / | grep -i "hive" ``` 该命令会递归地列出HDFS根目录下所有包含"hive"关键字的文件和目录，包括Hive数据仓库所在的目录。 2. 进入到Hive数据仓库所在的目录，例如： ```shell cd /user/hive/warehouse/ ``` 该命令会进入到Hive数据仓库所在的目录，该目录下的子目录对应了不同的Hive表。 3. 进入到您需要查看的分区表所在的目录，例如： ```shell cd log_data_partitioned/ ``` 该命令会进入到log_data_partitioned分区表所在的目录，该目录下的子目录对应了不同的分区。 4. 使用以下命令查看所有分区的信息： ```shell hdfs dfs -ls . ``` 该命令会列出当前目录下的所有子目录，每个子目录对应了一个分区，并以分区键值命名。例如，如果您的分区键为"date"，则每个子目录的名称应该类似于"date=20220101"。 5. 如果您需要查看某个分区的数据，可以进入到该分区所在的目录，例如： ```shell cd date=20220101/ ``` 该命令会进入到"date=20220101"分区所在的目录。 6. 使用以下命令查看该分区的部分数据： ```shell hdfs dfs -cat part-m-00000 | head ``` 该命令会显示该分区中第一个数据文件(part-m-00000)的前几行数据。您可以根据需要修改该命令来查看更多的数据，或者使用其他工具(例如Hive或者Spark)来查询和分析分区表中的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值