Hive有分区文件到时select不到数据问题-----修复分区命令 msck repair table xxxxx

最新推荐文章于 2025-06-28 00:22:59 发布
最新推荐文章于 2025-06-28 00:22:59 发布
阅读量3.2k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 个人工作记录 大数据问题记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z19920904/article/details/98203090
本文探讨了在向Hive分区表导入数据时遇到的问题，即数据文件已存在于HDFS指定路径，但查询时无法显示数据的情况。文章指出，这主要是因为分区信息未同步到Hive元数据表导致。解决方案是通过运行msck repair table命令，修复分区并更新元数据表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题：在导数据到hive分区表时， 手动把HDFS路径建好了，然后把对应的文件添加到路径下。

           这时用select语句查询却查不到数据。

原因：虽然分区文件有了，但是分区信息没有添加到hive元数据表中。

 

解决方法：运行命令 msck repair table xxxxx， 修复hive分区将分区信息加到元数据表

Hive分区修复msck repair
清平乐的技术专栏
05-08 5497
Hive的[MSCK REPAIR TABLE] 命令全量修复分区，目的就是将分区信息更新到元数据库中。该命令通常用于分区表的分区修复。 官方解释：（翻译版） Hive将每个表的分区信息保存在metastore中，如果通过hadoop fs -put命令直接将分区信息添加到HDFS，metastore是不会感知到这些新增的分区，除非执行了ALTER TABLE table_name ADD PARTITION命令。但是用户可以运行metastore检查命令MSCK REPAIR TABLE table_n
Hive分区表实战 - 多分区字段
howard2005的专栏
01-11 2071
本实战演练通过创建分区表`university`，并按省市划分加载本地学校数据文件至Hive，展示了大数据环境下高效的数据管理与查询方法。利用分区技术优化存储与查询性能，并通过SQL验证数据加载正确性及查看分区信息，实现了对大规模教育数据的组织和分析。
【Hive】msck repair-解决动态分区查询不到数据
Sunny的专栏
03-01 3470
0、背景 在Hive的表建立了动态分区，手动复制文件或者Spark写数据到分区中，而且设置了参数但是还查询不到该分区数据。这时你应该需要执行MSCK REPAIR TABLE命令来刷新Hive的metastore数据 一、作用 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等
hive表中有对应数据，写sql却查不出来结果
zsyoung的博客
12-30 7717
hive表中有对应数据，写sql却查不出来结果遇到问题原因解决方案 遇到问题 查询hive表时，明明sql中字段在表中有对应数据，但是却一直查不出来数据。 原因 sql中有longitude!=’’ and latitude!=’’，其中longitude和latitude都是float类型，不支持这样判断是否为空 另外，sql中float类型变量不能通过"="比较大小是否相等, 而应该通过≥或≤...
离线数仓避坑指南：Hive分区表数据在HDFS却查不到？详解MSCK REPAIR TABLE解决方案
最新发布
zuse_Uzi的博客
06-28 573
摘要： 当离线数仓ETL任务直接写入HDFS分区路径（如dt=20230601）后，Hive/SparkSQL查询返回空结果，原因是Hive元数据未同步更新。解决方案：使用MSCK REPAIR TABLE命令自动扫描HDFS目录，修复元数据缺失的分区。需确保分区路径命名规范（如分区键=分区值），并赋予执行账号ALTER权限。对于海量分区表，可指定层级优化性能。修复后，分区和数据即可正常查询。
使用MSCK命令修复Hive表分区
weixin_30713953的博客
08-19 164
set hive.strict.checks.large.query=false; set hive.mapred.mode=nostrict; MSCK REPAIR TABLE 表名; 通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，也可以用这个...
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
zcs2312852665的博客
01-12 2551
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
hive外部表创建分区,并根据分区进行查询
....
11-15 1万+
1. hive创建外部表 创建外部表的好处: hive创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变. 删除表的时候,外部表只删除元数据,不删除数据 所以总结起来就是 : 外部表相对安全,数据组织更加灵活,方便共享源数据 建表语法 CREATE EXTERNAL TABLE IF NOT EXISTS 表名 ( 列名1 数据类型, . ...
Hive分区表实战 - 单分区字段
howard2005的专栏
01-10 1362
本实战演练全面展示了如何在Hive中创建和管理分区表，通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建`book`表开始，依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务，并进一步演示了分区的增删改查操作，最后通过MySQL查看Hive Metastore中记录的分区元数据信息，充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。
Hive分区修复命令MSCK介绍与使用
zhaoguowei的博客
03-27 2686
我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能供我们查询使用，我们一般会想到使用 alter table add partition 命令手动添加分区，但是如果初始化的分区太多，这样一条一条地手动添加分区不免过于麻...
hive 分区表select全部数据_【Hive教程】（六）HIVE分区表 (静态分区+动态分区)
weixin_39658318的博客
01-14 1595
分区表分区表在实际企业中用途非常广，首先一个案例体验一下分区表的作用:假设我每天都要往HIVE表中插入一万条数据。经过一年的时间，我里面已经有365万条数据。现在我需要查询某个日期的数据，我select * from tablename where data=”20180101″,那么hive一般会扫描整个表内容，会消耗很多时间。如果引入partition概念。以日期作为分区字段，相同日期的数据在...
hive中简单介绍分区表
热门推荐
东杰书屋
09-15 3万+
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。 下面的语句创建了一个简单的分区表： create table p
hive建表数据查询select * from table为空
qq_51424089的博客
04-27 1926
在上大数据存储课进行hive实战时 遇到一些问题，就想着记录下来： 一、在hive建立表dept，从本地导入数据后，hive中查看数据为空： 解决方法： 1.进入root下本地文件(找到你自己文件放置的位置）输入vi dept.txt，进入文件后将分隔符空格都换为Tab键分隔 2.hive表中： drop table if exists dept；//删除表dept create table dept(…)row format delimited fields terminated by ‘\t’;
hive表数据文件存在子目录的情况，查询不到数据
hzp666的博客
02-22 1780
解决方案： 1.对于分区表，数据文件上层目录非分区目录，增加参数：spark.sql.sources.readPartitionWithSubdirectory.enabled=true 2.对于非分区表，数据文件上层目录非表目录，增加参数：spark.sql.nonPartitionedTable.subdirectory.read.enabled=true ...
hive往分区表里插入数据之后查不到_Hive入门实战（三）DML数据操作
weixin_32042331的博客
01-31 3639
一、Hive数据操作---DML数据操作1、数据导入第一种方式：向表中装载数据（Load）//语法 hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];load data:表示加载数据local:表...
hive select * from表没有数据， select 列 有数据
hellojoy的博客
11-24 3946
原因： 我的表格式是lzo的，但是我写入的时候并没有指定文件格式，造成select * from表没有数据， select 列 有数据 set mapred.output.compress=true; set hive.exec.compress.output=true; set mapred.output.compression.codec=com.hadoop.compression.l
Hive删除有分区的外部表，重新插入，查询不到数据
m0_63246205的博客
12-29 742
我建了一个外部表，并且在创建表时设置了分区，当我把这个外部表删除后，重新建一模一样的表，却查询不到数据。（按理说，删除外部表，不会删除数据的，怎么会查不到数据呢）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值