创建hive动态分区表的报错原因分析

已于 2023-06-22 08:06:58 修改
阅读量848 收藏 1
点赞数
文章标签： hive hadoop hdfs 大数据
于 2023-06-21 23:50:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Michael492/article/details/131335243
版权
在学习Hive过程中，遇到了创建动态分区表失败的问题。错误信息导致操作受阻。通过分析错误，发现数据文件存在问题。改正数据文件后，按照完整操作路径进行：首先在HDFS上查询分区信息，然后使用Hue进行查询验证。经过尝试，调整后的数据文件使得创建动态分区表成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题背景

跟着网课学习hive，当前遇到创建hive动态分区表失败的错误信息，困扰了一阵子，报错信息如下
在这里插入图片描述

原因分析

本地准备数据文件分区字段的值给了中文，导致MR程序运行以后无法实现动态分区，
将文件中分区字段的值修改成了英文即可解决以上报错

附上错误数据文件
错误数据
改成正确数据文件
正确数据

完整操作路径

1.操作hive，先指定某个库，再创建某张表
2.将准备好的本地文件上传到服务器某个目录下
2.使用hadoop fs -put命令将数据文件推送到hdfs指定的路径下
4.查询这张表的数据，检查映射是否正确

最终展示查询结果

1.hdfs查询分区信息

最低0.47元/天 解锁文章
hive动态分区过多异常
wflh323的专栏
05-29 2209
hive 执行动态插入分区sql 报如下错误： 2019-05-28 16:04:40,381 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145278_533526274 2019-05-28 16:04:40,382 WARN [Th...
【DATAX】datax读取hive分区表时，空分区任务报错问题解决
快乐星球
09-20 1971
datax读取hive表，hdfsreader读取空分区时，任务报错问题解决
Hive动态分区报错
Obscurede的博客
01-25 770
Hive动态分区报错的解决方案
hive插入动态分区数据时，return code 2报错解决
最新发布
zkkkkkkkkkkkkk的博客
10-23 3403
如果上面语句没有解决，可以看下yarm配置，考虑是否是语句占用内存超过配置最大内存等等。大概率是因为没有开启允许动态分区或单次动态分区个数太小了。
Hive创建分区表时提示错误
终码一生
09-18 1491
Hive Session ID = c62308d5-0e71-4952-bacc-e1ce83f13005 Logging initialized using configuration in file:/etc/ecm/hive-conf-3.1.1-1.1.6/hive-log4j2.properties Async: true Hive Session ID = a5683071-8eb9-4583-b7d9-a438ab176a86 NoViableAltException(149@[]) .
Hive 动态分区插入数据报错
小陈陈陈陈.的博客
03-23 1480
Hive动态分区插入报错。Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101
Hive的分区表和分桶表的区别
热门推荐
Null的博客
06-05 2万+
1，Hive分区。      是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。 ...
hive 分区表select全部数据_【Hive教程】（六）HIVE分区表 (静态分区+动态分区)
weixin_39658318的博客
01-14 1578
分区表分区表在实际企业中用途非常广，首先一个案例体验一下分区表的作用:假设我每天都要往HIVE表中插入一万条数据。经过一年的时间，我里面已经有365万条数据。现在我需要查询某个日期的数据，我select * from tablename where data=”20180101″,那么hive一般会扫描整个表内容，会消耗很多时间。如果引入partition概念。以日期作为分区字段，相同日期的数据在...
关于hive动态分区太多的问题解决方案
qq_47947471的博客
09-22 2962
今天在hive插入分区表的时候出现以下报错 hive> insert into table ods_PoliceKill_partition partition (city) select id,name,date,manner_of_death,armed,age,gender,race,state,signs_of_mental_illness,threat_level,flee,body_camera,city from ods_PoliceKill; 报错如下: java.lang.
hive建表时出错
qq_52915303的博客
09-14 423
原因是 hive的配置文件里/opt/installs/hive/iotmp/${Hive.session.id}_resources 这个值出错。解决方法 修改hive的配置文件hive安装目录下的conf文件夹下的hive-site.xml文件。hive/conf/hive-site.xml 大约在148行。应该是特殊字符引起的错误。
【hadoop hive】hive建表报错：Specified key was too long; max key length is 767 bytes
七夜之家
03-11 2377
hive 建表报错， 建表语句：create table table_test(id string,name string); 报错信息如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDOData
Hive写分区表失败及解决办法
mizuhokaga的博客
06-06 1002
写分区表失败
Hive 动态分区向表插入数据报错 GC overhead limit exceeded （分区过多场景）
weixin_43864336的博客
11-16 1583
hive 报错 动态分区 数据量很小，但是分区比较多的情况可以适用下面参数–启用自动排序参数，强制产生reduce任务。
hive建表报错
weixin_44930624的博客
05-09 703
hive建表报错:ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column ‘PARAM_VALUE’ (max = 21845); use BLOB or
hive产生动态分区太多导致的问题
分布式应用与服务器架构专栏
11-28 1万+
过多的动态分区会导致job出现以下情况： org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maint
hive建表错误
yds599089646的博客
01-12 764
Cannot validate serde: org.openx.data.jsonserde.JsonSerDe 由于有很多数据，比如行为数据，内容数据都是json格式的，我们需要json的serde- jar，存储方式有以下三种： 1. jar包可以存储到linux上的一个固定目录，使用add jar指令加载到classpath下。 2. 也可以将jar包上传到hdfs中， 使用add jar指令加载到classpath下。 3. 也可以将jar包存储到hive的lib目录下，咱们选择..
hive建表时报错
Rome was not built in one day
08-09 827
在hive建表时报如下错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client lev
hive导入数据到动态分区报错
大数据
05-30 1000
我在向hive中导入数据到动态分区时，也就是执行以下这个命令的时候 hive> INSERT INTO TABLE myhive.tax PARTITION(TAX_CATEGORIES) SELECT id,start_date,end_date,tax_items,tax_amount, tax_categories FROM myhive.temp; 很不幸的报错了。 Job Submission failed with exception 'java.io.IOException(No va
之前是hadoop高可用，把高可用撤去之后，用hive创建表，报错
05-19
如果您在使用Hive创建表...如果您的分区键或值不正确，Hive将无法正确创建分区表。 如果以上措施都没有解决您的问题，请提供更多详细信息，例如错误消息、Hive表定义和Hadoop集群配置，以便我们更好地帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值