hive 动态分区无法删除

最新推荐文章于 2025-06-10 14:03:42 发布
原创 最新推荐文章于 2025-06-10 14:03:42 发布 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据

 最近生产环境出现了一个错误，spark无法写入数据的到hive报以下错误

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition for table orc_report_behavior
	at org.apache.hadoop.hive.ql.metadata.Partition.initialize(Partition.java:208)
	at org.apache.hadoop.hive.ql.metadata.Partition.<init>(Partition.java:106)
	at org.apache.hadoop.hive.ql.metadata.Hive.getAllPartitionsOf(Hive.java:2103)
	... 194 more
Caused by: MetaException(message:Invalid partition key & values; keys [day, ], values [])
	at org.apache.hadoop.hive.metastore.Warehouse.makePartName(Warehouse.java:550)
	at org.apache.hadoop.hive.metastore.Warehouse.makePartName(Warehouse.java:483)
	at org.apache.hadoop.hive.ql.metadata.Partition.initialize(Partition.java:192)
	... 196 more

首先怀疑hive进程问题，直接通过hive查询表数据，结果还是包以上错误。检查数据源发现有乱码，百度了下，找到解决方案，特记录下。

 解决方法

删除所有表分区    

#!/bin/bash
source /etc/p
最低0.47元/天 解锁文章

200万优质内容无限畅学
Hive 分区实战指南：动态分区 vs 静态分区的深度解析
2401_83088008的博客
03-23 635
分区策略的选择直接影响 Hive 查询性能和运维成本。静态分区适合可预测的少量分区场景，而动态分区在处理海量、变化的分区时更具优势。优先使用动态分区提高灵活性对热点分区进行拆分或合并定期清理无效分区结合分区裁剪和索引优化查询掌握分区技术的精髓，能让 Hive 数据仓库的性能提升 3-10 倍，是大数据工程师必须掌握的核心技能之一。
HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql
2401_89829477的博客
01-11 548
HiveSQL分区的作用是将数据划分为更小的部分，以及根据特定的字段值将数据进行组织和管理。分区的原理是通过在数据存储和查询过程中利用分区信息来提高性能和查询效率，避免全表扫描，通俗来讲分区相当于分文件夹。具体来说，HiveSQL分区的作用包括以下几个方面：数据组织和管理：分区可以将数据按照特定的字段值进行组织和管理。通过将数据划分为更小的分区，可以更方便地进行数据的存储、查询和维护。查询性能优化：分区可以根据查询的条件过滤掉不满足条件的分区，从而减少需要扫描的数据量，提高查询的性能和效率。
hive分区表值为中文导致无法删除表解决方法
whoamnew的博客
11-04 1158
日前有用户反映之前创建的hive表无法删除，登录后台查询发现用户使用了中文作为分区值，下面是解决方法： 1.删表时报错信息 StatementCallback; SQL [DROP TABLE IF EXISTS qcdb.eval_15696_kpi]; Error while processing statement: FAILED: Execution Error, return code ...
记录hive数据库错误分区无法删除的问题
qq_45635773的博客
10-10 1187
hive异常分区无法删除的解决办法
hive如何删除分区
最新发布
2501_90817125的博客
06-10 387
建议在非高峰时段执行删除操作，避免影响集群性能。
记录一次hive无法删除异常分区问题
jiedaodezhuti的博客
05-17 977
今天在做数据导入时，发现有几个异常分区。因为异常分区影响到BI端数据报表展示。所以需要删除; 当执行删除分区命令是一直报如下错误 无法删除分区,然后就使用hdfs dfs -rm -rf /命令删除分区后,使用msck修复后,分区并未删掉。 最后查看分区字段类型时，发现dt是date类型; ALTER TABLE smart.smart_company_dws PARTITION COLUMN (dt string); 改成string类型后操作成功; ...
hive分区无法删除,特殊分区,分区乱码
lb876864380的博客
07-28 4396
应该有人在使用 hive 的时候 不小心创建了一些 特殊分区 , 分区的编码 是看起来的乱码, 我们现在来看看这个问题 create table test.test_part ( a string, b string, c int ) comment '测试不正常分区' partitioned by ( d string) STORED AS OR...
hive partition 动态分区时字符乱码，无法删除
chbxw
08-07 1013
一、Hive动态分区插入数据时,由于乱码导致动态分区为乱码,无法删除, 1.1.删除hdfs下分区 找到表的路径， 删除分区表的hdfs目录 desc extended TABLENAME; hdfs dfs -rm -f filePath; ###1.2、删除MySQL下的元数据信息 ####1.2.1、找到tbl_id SELECT TBL_ID FROM TBLS WHERE...
5、Hive数据仓库——Hive分区及动态分区
hujieliang123的博客
02-20 5190
Hive数据仓库——Hive分区及动态分区
Hive批量删除一段时间分区和动态分区更新数据
lv_hulk的博客
07-05 4894
Hive批量删除一段时间分区和动态分区更新数据 1.hive动态分区 -- 批量删除分区数据 alter table dm.dm_call_gateway_bill_time_detail drop partition(dt &gt;="20191101",dt &lt;='20191130') -- 开启动态分区 SET hive.exec.dynamic.partition=true; --开启动态分区，默认是false SET hive.exec.dynamic.partition.mode=non
hive无法删除分区
wflh323的专栏
04-17 2674
hive中执行 ALTER TABLE xxxDROP IF EXISTS PARTITION (xx='xxx') 删除某表分区时，一直没有执行，卡住不动。其它表执行没有问题。info级别日志没什么输出，日志一直停留在那。在hive命令行使用hive --hiveconf hive.root.logger=DEBUG,console 启动客户端开启debug模式，再次执行删除分区语句，输...
hive分区删除分区失败，出现$%7Bworkdate}分区且无法删除
Dmaple的博客
12-02 962
最近查看hive表分区时，突然发现有个$%7Bworkdate分区无法删除 上网大概查了一下，意思是这个分区原来名字不叫这个，被转码了，所以无法删除 所以需要代码 alter table tablename drop partition (workdate="${workdate}"); 其实这个乱码产生的原因是因为把本来写到.sql文件里的sql代码在hive窗口中直接运行 分区名称就是"${workdate}" 在窗口中运行时没有更改，然后分区的名称就是${workdate}，然后显示为$%
Hive无法删除表
小陈陈陈陈.的博客
02-13 1242
Hive无法删除表
删除hive内部表，不会删除数据的方法探索
qomoman的专栏
01-14 4894
方法一步骤： 1将内部表改成外部表 alter table table_name set TBLPROPERTIES('EXTERNAL'='TRUE'); //内部表转外部表 2drop table table_name 方法二步骤： 1将表的名字改掉 alter table table_name rename to table_name_temp 2将表的数据所存放的目录改掉
Hive--清除/删除Hive表数据
sunnyday0426的博客
06-07 7804
Hive中清除/删除表数据可以使用TRUNCATE TABLE语句，该语句会删除表中的所有数据，但保留表结构。
Airflow 报删除分区任务错误
AnlaGodness的博客
09-15 607
Airflow 报删除分区任务错误：Error: Error while compiling statement: FAILED: RuntimeException MetaException(message:Invalid partition key &amp; values; keys [xxx, xxx, is_archived, ], values [xxx, xxx, ]) (state=42000,code=40000) 1、查看hive元数据： mysql -hxxx -uxxx -pxxx
org.apache.hadoop.hive.ql.metadata.HiveException原因
sinat_36572927的博客
10-11 6460
当在一个session中启动spark后，又开启了一个session，会报上面的错误，因为spark默认的元数据存储在derby，derby是单session的。
Hive创建表报无效的表名
zh0302的博客
11-30 654
Hive创建表报无效的表名： 报错信息如下： FAILED: SemanticException Line 1:13 Invalid table name {0} 'test_table' 这个问题，由于百度不到，本人解决了2天，最终发现是版本问题。 出问题版本：hive-1.1.0 替换为：hive-1.2.1 复制相同的配置创建表成功。 以上为我个人的解决方法，希望能够帮到大家。 相同问题的小伙伴可以直接换个版本试一试。 当然，有解决过这个问题的大佬也请留言传授一下经验，谢谢！ ...
【原】Hive 分区表新增字段后，新增字段无法写入问题
qq_35218261的博客
12-27 2174
参考转载：https://www.cnblogs.com/zhangqian27/p/12654067.html
hive动态分区
03-28
### Hive动态分区的使用方法及常见问题解决方案 #### 动态分区的基础概念 Hive中的动态分区允许在插入数据时自动创建所需的分区，而无需手动指定每个分区的具体名称。这种方式极大地简化了大规模数据处理流程，尤其是在需要频繁更新大量分区的情况下非常有用[^1]。 #### 配置动态分区的关键参数 为了启用并优化动态分区功能，需设置以下几个重要参数： - `set hive.exec.dynamic.partition=true;` 启用动态分区支持。 - `set hive.exec.dynamic.partition.mode=nonstrict;` 设置为非严格模式以便可以仅依赖于动态分区而不必提供静态分区[^3]。 - `set hive.exec.max.dynamic.partitions.pernode=100;` 控制每节点最大可创建的动态分节数量，默认值可能不足以满足实际需求。 - `set hive.exec.max.dynamic.partitions=1000;` 定义整个作业中最多能创建多少个动态分区。 这些参数可以通过SQL语句临时设定，也可以写入Hive配置文件永久生效。 #### 插入数据到动态分区表的例子 假设有一个名为`sales_data`的表，其结构定义如下： ```sql CREATE TABLE sales_data ( sale_id STRING, amount DOUBLE ) PARTITIONED BY (year INT, month INT); ``` 向该表插入带动态分区的数据时，可以按照以下方式操作： ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO TABLE sales_data PARTITION(year, month) SELECT id, value, year, month FROM staging_table; ``` 上述代码会依据`staging_table`中的`year`和`month`列自动生成对应的分区目录，并将数据存储其中。 #### 解决动态分区相关问题 ##### 错误分区无法删除的情况 如果由于某些原因导致生成了错误的分区（如日期格式不对），可以直接通过`ALTER TABLE ... DROP PARTITION`命令移除有问题的分区。例如，在引用[2]提到的一个场景里，当分区键被错误地设成浮点型数值而非整数形式时，可通过下面的方式清理掉异常分区： ```sql ALTER TABLE your_table_name DROP IF EXISTS PARTITION(partition_column=&#39;incorrect_value&#39;); ``` ##### 表重命名失败的问题 对于大型分区表来说，简单的重命名可能会因为涉及过多元数据变更而导致超时或失败现象发生。针对这种情况，建议先备份原表再逐步迁移至目标表名下完成转换过程[^4]。 #### 性能调优提示 合理调整内存分配及相关资源限制有助于提升批量加载性能；同时注意监控日志输出以及时发现潜在瓶颈所在位置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值