CDH集群数据迁移时报错：org.apache.hadoop.hive.ql.exec.DDLTask (state=08S01,code=1)

最新推荐文章于 2023-08-04 13:43:31 发布
最新推荐文章于 2023-08-04 13:43:31 发布
阅读量3.4k 收藏 2
点赞数 2
分类专栏： 大数据学习 文章标签： hive数据迁移报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sun_luming/article/details/124048939
版权
在CDH集群中进行Hive数据迁移时，遇到使用beeline执行MSCK REPAIR TABLE命令修复分区失败的问题，错误信息显示ExecutionError，returncode为1。解决方法是在beeline中设置hive.msck.path.validation=ignore，之后重新执行分区修复操作，问题得到解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CDH集群中做hive数据迁移，通过hdfs dfs -put将本地数据文件上传到hdfs的路径中，然后通过beeline执行create table命令，在执行msck repair table命令做分区修复时出现如下报错：
在这里插入图片描述
报错关键字：
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask (state=08S01,code=1)

解决方法：
beeline命令行执行：

set hive.msck.path.validation=ignore;

然后再次做分区修复：
在这里插入图片描述

分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
weixin_52918377的博客
11-23 5037
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 一、问题 在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。 1.脚本执行的时候报错 INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab
kettle-linux中执行hive的ktr报错：Error connecting to database: using class org.apache.hive.jdbc.HiveDriver
lisery的博客
07-19 1万+
1.将windows环境中产生的ktr文件上传到linux环境中执行 [root@lx02 data-integration]# ./pan.sh -file=/opt/cm/hadoop/pdi-ce-7.1.0.0-12/data-integration/workspace/hivetorizhi.ktr >> /opt/cm/hadoop/pdi-ce-7.1.0.0-12/...
hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
weixin_43247092的博客
01-11 3036
hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误
qq_41607306的博客
03-26 2931
转自：https://www.cnblogs.com/bluejoe/p/5115822.html 采用beeline连接hive server是遭遇到如下错误： [java]view plaincopyprint? 5:jdbc:hive2://bluejoe0/default>select*fromhive_tripleswheresubject='&l...
Hive 自定义udf/udtf报错FunctionTask (state=08S01,code=1)解决方案
wdwfjsw的博客
05-15 3039
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask (state=08S01,code=1)
Hive建表报错org.apache.hadoop.hive.ql.exec.DDLTask
qq_39821336的博客
03-18 3400
Hive建表报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 解决方案：在MySQL中执行一下的命令 之后在hive中建表就会成功：
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
热门推荐
二锅头的博客
09-23 1万+
产生原因：堆内存溢出导致的，修改yarn-site.xml文件中添加以下内容就可以解决； 解决方案： <!-- 解决堆内存溢出 --> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>10000</value> </property> <property> <name>yarn.sc.
cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc
最新发布
03-01
It is not in list of params that are allowed to be modified at runtime (state=08S01,code=0) ``` **HiveServer2 日志记录：** ``` [HiveServer2-Handler-Pool: Thread-55]: Error opening session: org....
Hadoop从节点日志重复出现 Retrying connect to server: 0.0.0.0/0.0.0.0:8031解决方法
xxJAY的博客
10-12 1940
日志详情 2020-10-12 11:36:04,580 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2020-10-12 11:36:05,5
Hive删除外部分区表，报错：org.apache.hadoop.hive.ql.exec.DDLTask
sunqingok的博客
08-25 932
hive中删除外部分区表后，又在另一个库中创建相同的外部分区表，都是从hdfs上的相同目录上读取数据，结果报错org.apache.hadoop.hive.ql.exec.DDLTask返回代码1 解决方法： set hive.msck.path.validation=ignore; MSCK REPAIR TABLE table_name; 其中的原理：待续 ...
beeline报错：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
Howe的博客
12-13 2422
在执行 beeline -u jdbc:hive2://127.0.0.1:10000 -n root -p password -e "truncate table xxx;" 的时候报错： Driver: Hive JDBC (version 2.1.1-cdh6.3.2) Transaction isolation: TRANSACTION_REPEATABLE_READ Error: Error while processing statement: FAILED: Execution .
问题解决-Hive创建汉字字段表时，报错org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
software_student的专栏
07-02 4296
项目场景： 在大数据集群场景中，需求方（客户）会给你提出很多奇葩问题，让一个大数据职场小白的我为之抓狂，在一顿挠心之后，还得想办法去满足需求方提出的需求 前不久我的需求方就是我们CDH集群的使用方-数据应用开发团队给我出了个难题，说业务部门想要使用汉语字段的表使用，也就是表结构中字段名称必须是汉语，俗话说，中国文化博大精深，汉语最为精髓。 汉语考试： 1.“小明，今晚有思修课，你去不去？”，“我去！我不去！”，问小明到底去不没去？ 2.“小明，窗台上落了鸟屎，去擦一下好吗？”，“我擦，我不擦”，问小明到底
org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
口袋里的小龙的专栏
05-22 6702
hive结合mysql
hive FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
u010031813的博客
07-30 2481
错误提示： hive> drop table java_file; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.IllegalArgumentException: java.net.UnknownHostException: myhadoop) 原因： 1.因为更改了主机名称，将myhadoop修改为dw.
org.apache.hadoop.hive.ql.exec.DDLTask. show Locks LockManager not specified解决
qq_43688472的博客
08-04 711
配置Hive锁管理器：设置hive.lock.manager属性的值为正确的锁管理器实现类。常见的锁管理器实现包括org.apache.hadoop.hive.ql.lockmgr.zookeeper.ZooKeeperHiveLockManager和org.apache.hadoop.hive.ql.lockmgr.EmbeddedLockManager。打开Hive的配置文件（例如hive-site.xml），检查是否有名为hive.lock.manager的属性。
org.apache.hadoop.hive.ql.exec.DDLTask. AlreadyExistsException(message:Table stuinfos already exists
weixin_51912767的博客
05-02 1735
报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. AlreadyExistsException(message:Table stuinfos already exists)表明这个表已经创建，我尝试删除hdfs系统下的/user/hive/warehouse/stuinfos ,使用目录dfs -rm -r -f stuinfos 后仍然不行，最后发现。在hive命令行输入。
Hive创建表 org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
dumengya的博客
03-09 1567
drop database hive;  reate database hive;  alter database hive character set latin1;
报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
summer089089的博客
05-31 5046
1.报错现象 外部分区表重新建立后，查询不到数据，hdfs对应的目录是数据的 执行 MSCK REPAIR TABLE crumb.dwd_t_std_crumb_event_process; 修复元数据时，报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 2.报错原因 从 Hive 1.3 开始，如果在 HDFS 上找到分区值中包含不允许字符的目录，MSCK 命令将抛出异常，可以在
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值