关于Hive中分区表重命名分区后HDFS上无改变的疑惑

Hive分区表操作与HDFS同步问题解析
最新推荐文章于 2024-11-12 20:39:25 发布
原创 最新推荐文章于 2024-11-12 20:39:25 发布 · 817 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hdfs #hadoop

在CentOS7环境下，使用Hadoop3.3.14.0.0-alpha-2构建的高可用集群中，遇到Hive分区表修改不更新HDFS对应目录的问题。具体表现为ALTER TABLE命令重命名分区后，HDFS上的文件系统并未反映出变更，而删除和移动分区则能正确反映在HDFS上。这可能涉及到Hive元数据与HDFS数据同步的机制。

在Hive学习过程中碰到以下疑惑，求解答
配置：centos7 高可用集群Hadoop 3.3.1 4.0.0-alpha-2
问题：在修改分区表的分区列时，HDFS文件系统中相应的目录没有发生变化 。但分区的删除和移动是能在HDFS文件系统中看到变化 。

ALTER TABLE hive_database.partitioned_table1 PARTITION (province='HeBei', city='HanDan') RENAME TO PARTITION (province='HuBei', city='WuHan');

在这里插入图片描述

Hive学习之修改表、分区、列
skyWalker_ONLY
06-12 4万+
修改表/分区/列 修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。 重命名表 重命名表的语句如下： ALTER TABLE table_name RENAME TOnew_table_name 修改表属性 修改表属性的语句如下： ALTER TABLE table_na
Hive修改外部表分区名并且重命HDFS目录名字查询不到数据
杨鑫newlife的专栏
04-15 2809
问题描述： Hive创建的一张外部表 table_1, 有一个按照天增量存储的分区，dt=‘2020-04-01’ 我们通过 Hive 命令 ALTER TABLE 分区的名称修改为dt=‘2020-03-31’ ,我们也想把对应的HDFS目录改成dt=‘2020-03-31’ 但是发现查询的数据为空 ？？？ 原因： 由于是外部表，所以Hive的元数据记录与数据的...
修改hive表分区名称
02-17
hive表修改分区数据
hive修改表路径
fuyun6363的博客
10-31 6119
hive分为内部表和外部表，两种表修改路径方式不一样。 内部表 设置新的路径 alter table tb_table1 set location 'hdfs://cluster/hive/warehouse/test.db/tb_table2 移动表的文件 hdfs dfs -mv /hive/warehouse/test.db/tb_table1 /hive/warehouse/test.db/tb_table2 外部表 因为外部表删除表并不会删除文件，所以可以先删除表 drop table tab
hive带分区的外部表改名
shuizimuzhongling的专栏
12-11 2252
现有一个带分区字段的外部表schema.tablename，分区为month_id 需要将其改名为schema.tablename_rename 方法一： 1.改名 alter table schema.tablename rename to schema.tablename_rename; hadoop fs -mv /user/dw/schema.db/table_name /use...
Hive多分区表重命名失败问题分析
淡定一生2333的博客
10-13 1964
项目上有一张Hive分区表，分区数非常多，大约有2000+，然后需要增加一个字段，然后华丽丽的发现，执行了半小时之后，失败了...然后想着那就对表进行重命名吧，使用新表来替换这张旧表，旧表使用别的名字，然后又是漫长半小时等待，又失败了...表重命名操作不就是修改下元数据么，MySQL操作不应该是非常快的么？！为啥还会失败，带着这个问题，来探究下Hive表重命名相关的原理。 参考： 增加Hive表字段超时_MapReduce服务 MRS_故障排除_使用Hive_华为云 ...
Hive 分区表 (Partitioned Tables) 『 创建分区表 | CRUD分区 | 修复分区 | 数据导入(静态分区、动态分区) | 查询数据/表结构』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-26 5969
1. 为什么使用分区表？ 2. 创建分区表 3. 分区表的数据导入 (1) 静态分区 (2) 动态分区 4. 查询分区表数据 5. 小结
hive外部表和分区表注意事项
chanyue123的博客
01-04 2138
外部表操作注意事项 1）分区数据建立外部表 假设在/xhive/table1下有一些分区的数据，此时建立外部分区表： create external table table1(xxxx) partitioned by(date string) location “/xhive/table1”; 这样子后，数据会查不出来。 解决方法有两种： 使用 msck repair table tbname;(推荐使用) 或是需要手动添加已有的分区， alter table table1 add partition(d
Hadoop之Hive分区表alter字段类型字段解析没有改变
小谷的博客
04-04 1330
Hive分区表alter字段类型字段解析没有改变问题描述三种方式处理过程 问题描述 今天在创建hive分区表的时候，有一个字段类型创建错误，本来应该是string，但是一不小心创建了int类型，然后经过alter修改修改字段类型后，查询的时候，发现字段仍然不能正常显示。下面，对问题的处理过程进行一个详细的描述和介绍。 三种方式 表或者分区删除重新创建(数据无价，注意数据) 在alter中指定分区...
【hive】修改表名以及 修改hdfs底层存储文件名
weixin_43858017的博客
03-20 1072
该命令只是修改了元数据，存储在HDFS的文件名并没有随之而改变。如果想更改存储该表数据的HDFS目录名，需要手动更改HDFS上的文件目录名。3、重启hive，使用alter 修改表名。在Hive中，修改表名可以通过。2、重命名HDFS文件名称。
分区表怎样进行添加分区和重命名分区？
zy1992As的博客
07-24 1255
上述命令执行完成后，在Hive客户端工具Beeline中执行“SHOW PARTITIONS hive_database.partitioned_table:”命令.查看数据库hive_database中分区表partitioned_table的分区信息，如图所示。接下来,在虚拟机Node_03中使用Hive客户端工具Beeline,远程连接虚拟机Node_02的HiveServer2服务操作Hive.重命名数据库hive_database中分区表partitioned_table的分区，具体命令如下。
[hive]外部分区表结构变更后查询为空问题解决
loaDforK的抄抄写写
04-21 1201
0X00 前提 数仓技术选型：hive+sqoop1.4.4 场景：数仓中ods增量表由于上游db表变更缘故，需要对应地增加两个字段，一般使用alter table table_name add columns(column_name type comment '');的方式来直接在hive中增加字段。但由于上下游之间信息传达、沟通不到位，导致在上游db的源表已经增加表字段数天后，数仓相关部门才收...
hive表的（修改和分区相关操作）
sun87506376的博客
01-17 427
hive表的修改和相关分区修改
黑猴子的家：Hive 修改表
黑猴子的博客
09-29 357
1、表重命名 （1）语法 ALTER TABLE table_name RENAME TO new_table_name （2）实操案例 hive (default)> alter table dept_partition2 rename to dept_partition3; 2、增加/修改/替换列信息 1）语法 更新列 ALTER TABLE table_nam...
关于分区表修改问题
wo61356491的专栏
12-20 855
修改分区数据问题： 1、如果修改分区列时： 修改后导致修改的行所在分区发生改变 修改后分区没有发生改变 2、修改非分区列 修改后不会导致修改行所在分区改变 第一种：导致修改后行所在分区发生变化，需要将所在表设置为 行可以移动 alter table partition_table enable row movement;
hive修改表名、修改列名、修改分区
weixin_49114503的博客
11-12 4698
hive修改表名、修改列名、修改分区
hive 与 hdfs 文件的关系
热门推荐
景山编程-顺道编程
09-17 1万+
Hive 是一个建立在hadoop文件系统上的数据仓库架构，可以用其对hdfs上数据进行分析与管理。 实际上是将hdfs上的文件映射成table（按文件格式创建table,然后hive的数据仓库会生成对应的目录，默认的仓库路径：user/hive/warehouse/tablename，目录名与这个表名相同，这时只要将符合table定义的文件加载到该目录便可通过Hql对整个目录的文件进行查询了。...
修复hive重命名分区后新分区为0的问题
大模型大数据攻城狮的专栏
08-23 1089
ods_t_test 的2022-11-21分区大小为0。hive分区重命名后，新的分区的分区大小为0 ,
hive分区表修改增加列遇到的两个问题
bigdataprimary的博客
11-26 859
由于需求改变，需要在原有的hive分区表中添加列，并每次充写最近30天的分区数据。 问题： 1.执行alter语句增加列后修改列的位置，导致数据串列。 2.重写分区后只有最新分区的新增列有数据，其他原有分区的该列为null。 问题原因： 1.hive增加列只是修改了hive的元数据，并没有改变hdfs的数据文件，其查询结果按照列的顺序和hdfs按分隔符分割后的数据对应，导致错列。 2.原因与上面的相同，解决方法为删除旧分区后再重新写入， alter table db.table drop .
hive分区表创建和上传数据方式
最新发布
04-28
好的，我需要帮助用户了解如何创建Hive分区表以及上传数据的方法。首先，我应该回顾用户提供的引用内容，看看有哪些相关的信息可以整合进来。 根据引用[1]，创建分区表的步骤包括创建数据库和带有分区的表，比如按...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值