hive drop table 一直卡着不动错误记录

大数据左右手 大数据左右手 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 512平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-01-23 22:26:41 发布 512 阅读 AI 写同款· GEO 优化 ›
Spark on Hive表结构变更 在Spark on Hive架构中，表结构（Schema）变更是一个常见且重要的操作。理解其背景、使用场景以及具体方式对于大数据平台管理至关重要1.1、Spark on Hive元数据管理核心组件。它是一个独立的关系型数据库（如MySQL、PostgreSQL），存储了Hive表、分区、列、数据类型、存储位置等元数据信息Spark本身不存储元数据。当Spark需要处理Hive表时，它通过HMS连接到Hive Metastore数据库，获取表的元数据（Schema、分区、文件位置等） 阅读详情
解决hive并发多版本错误
 <property>
                <name>hive.metastore.schema.verification</name>
                <value>true</value>
 </property>

先执行：

schematool -dbType mysql -initSchema

再启动元数据服务，不然matestore启动后就立马stop

收录于
Bug记录

当前文章被收录于：

Bug记录
12 篇文章 1 人学习
订阅专栏 查看详情
标签
#hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Sqoop导出的时候一直卡在map100% 最近最近使用sqoop导出的时候也就是export的时候，主要作用是用sqoop将hive中的数据导出到MySQL中。实际上就是将hdfs的数据导出到mysql中。 就是这么一个小操作就一直卡在map的100%，就很难受。卡在map的百分之百就上网找，各种各样的，但是还是不对，太难受了。 经过漫长的挣扎，总算找到了问题所在。而且还是一个非常小的问题，可能写出来，大家都觉得很白痴的一错误，就很难受哟。 先来引用几个我找到的，写的比较好的博客，但是不是我的错误的博客。 ===================== 阅读详情

相关推荐

Hive实战指南：数据库与表的DDL操作全解析

本文全面解析Hive数据库与表的DDL操作，涵盖创建、修改、删除数据库和表的核心技巧，以及分区优化等高级功能。通过实战案例和避坑指南，帮助大数据开发者高效管理Hive数据仓库，提升数据处理效率。重点介绍了DDL操作中的常见问题与解决方案，适合Hive初学者和进阶用户参考。

weixin_29313547的博客 746

hive学习2：Hive drop table卡住的问题，mysql字符集修改了latin，但是还是不行解决方案

    刚开始接触hive，在删除表时卡住了，根据网上播客修改mysql字符集为latin，测试后还是不行，给下修改mysql字符串地址：修改mysql字符串地址      我这边修改后是还是无法删除，搞了大半个小时还是不行，最后，只能报着试试的心态升级mysql驱动jar试试，成功了，我之前的旧的jar版本是mysql-connector-java-5.1.6.jar 替换为mysql-con...

每天进步一点 1271

Anroid8.1 强制修改系统可以adb remount

在Android6.0 （Android M）user版本上，发现使用adb root后再adb remount系统之后会提示这样信息：remount of /system failed: Read-only file system，这是不能对system分区进行操作，提示没有写权限，为只读文件系统Read-only file system，因为系统本身在user就不支持可写操作，我们就不能adb push来调试apk，如果想调试apk就需要修改system、vendor权限问题。 如下现象： C:\Use

wq892373445的博客 1408

Hive drop table table_name一直卡死状态

用drop删除表的时候，一直处于卡死状态，也不报错，如下图所示 后来发现是Hive元数据存储编码问题，编码不能为utf8,所以我进入数据库看了一下MySQL的编码，如下图 所以要将编码改回来，方法：在MySQL配置文件中修改，并删除原有的数据库，新建一个一样的数据库

BD_ZZQ的博客 1万+

CANape快速上手

文章帮助记录CANape学习过程。

小弱鸡的博客 1万+

缺陷检测-金属表面缺陷检测

1介绍 缺陷检测是工业视觉技术中最重要的组成部分。业务广泛，场景丰富，技术难点高、工作量大。针对不同的场景，选择不同的相机和

huneng1991的专栏 5250

hive执行某张表drop语句无效卡住的情况

现象 删除一张表时，发现执行不报错，但是一直卡住。执行其他表查询或者删除语句正常，查看元数据库字符集正常。锁定问题在于单表，查询HIVE_LOCKS发现该表存在锁。复现原因，执行过程中关闭了session窗口（xshell），导致加锁未释放。（在hive操作过程中强制退出后，会导致锁表，并且unlock命令无效） 解决办法 此时可以去mysql的元数据库中解锁 mysql的元数据中解锁的命令是 不同版本可能表名不同，以下是2.3.x版本hive表 mysql>use hive; mysql&gt

Mr.Zheng的博客 1621

【机器人】转动的指数坐标表示心得理解

转动的指数坐标表示心得理解1.前言2.指数坐标表示旋转矩阵3.原理推导4.矩阵对数、矩阵指数 1.前言 最近因为项目需求，又学习了一点机器人学的东西，参考书籍为《现代机器人学》，该书采用指数坐标、旋量的方式来对机器人进行描述和运动学、动力学建模，让我对机器人有了更深的理解，也是弥补DH参数建模复杂的缺陷，虽然DH法只用4个参数，而旋量需要更多，但是它骚啊！ 本文是我学习了转动的指数坐标表示的一个心得体会，如有问题请多多包涵。 2.指数坐标表示旋转矩阵 指数坐标可以用来表示求解旋转矩阵，其原理非常简单巧妙，需

要恰饭得嘛 2329

hive删除表时直接卡死

原因：因为以前安装的mysql，字符集都改为了utf-8。 解决方案：需要把字符集都改为latin1 首先进入mysql查看字符集 show variables like 'char%' 找到mysql安装目录下的my.cny文件 用vi命令打开修改字符集 修改完成后重新进入mysql 在mysql中删除之前的hive数据库 然后再重新create database hive ...

Bird_xuan的博客 149

量化交易：如何在QMT中运行Python策略并在VSCode中高效调试？

哈喽，大家好，我是木头左！

木头大左的博客 3761

【雷达通信】雷达信号处理仿真【含Matlab源码 2509期】

雷达信号处理仿真 完整的代码，方可运行；可提供运行操作视频！适合小白！

订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份； 905

Hive命令行窗口drop删除报错

1、错误描述 hive> drop table src; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your SQL syntax; check the manual that ...

hyj 574

华为用自研的MetaERP替换全球顶级的SAP ERP系统，其难度与风险远超一次普通的技术升级，它是一场战略级的、涉及业务筋骨的系统性工程

华为成功用自研MetaERP替换SAP系统，这是一项极具挑战的战略工程。面临四大难度：业务复杂度高（170多国业务）、数据迁移量大（20年历史数据）、技术集成复杂（重构生态系统）、人员适应周期长。同时伴随四大风险：业务中断、数据失真、成本超支、供应链协同问题。华为成功的关键在于：生存压力驱动的战略决心、强大的软件研发能力、以自身业务为试验场、分步实施策略。这一案例证明中国企业能攻克高端软件壁垒，但对大多数企业而言，核心系统替换需谨慎评估风险，建议采用渐进式替代策略。

金牌架构师 535

Hive-delete、drop、truncate区别

Hive-delete、drop、truncate区别及其对比

认真学代码的shell 2850

使用Prophet进行时间序列预测

Prophet是Facebook开发的开源时间序列预测工具，用于处理时间序列数据的建模和预测。它建立在统计模型之上，适用于多种时间序列预测问题，具有易用性和灵活性。能够处理缺失值和异常值支持对节假日和季节性的建模可以灵活地添加自定义的季节性成分自动检测变化点提供了直观的可视化工具这个简短的教程为您提供了使用Prophet进行时间序列预测的基本步骤和一些重要的概念。您可以通过阅读Prophet官方文档和其他在线资源来进一步深入学习和了解更多细节。

Mrrunsen的博客 480

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

hive ALTER TABLE DROPPARTITION

给大家整理了一些有关【IT,Hive】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/27963.htmlhttps://edu.51cto.com/course/31545.htmlHive 中的 ALTER TABLE DROPPARTITION 操作详解 在大数据环境下，H...

weixin_40693591的博客 790

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

hive错误排查一：hive中执行 drop table命令卡住，删除表不成功

起因 公司用的AWS EMR上的hive，突然不能删除表了。 经过 分析来看，估计是元数据那块出了问题。从元数据入手，元数据存在mysql的hive数据库中 直接使用hive配置文件hive-site.xml中的用户名密码访问mysql数据库 mysql -h ip -uhive -p ERROR 1045 (28000): Access denied for user 'hive'@'...

weixin_30907935的博客 1640

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

hive错误锦集

我的hive错误锦集-1 性能问题： 一个条件的错误 在去年写了一个hive脚本，今年需求有变，条件细分。于是脚本改动较大，也没有考虑太多就开始改动。完成后测试运行速度，发现运行时间为改动前的三倍，当时需求很急，草草跑出数据提交了。 后来又需要该脚本来用，才想起来效率问题，于是开始研究速度慢下来的原因。 第一次将37个步骤的运行时间分离出来，发现问题出在某一个步骤上。这就好办了，单独拿出

OY_palada 630

dmp文件转成正常表_记录一次Hive表清理过程

记录一次Hive表清理过程背景 时间：2020-07-17在用spark+hive做数仓的过程中往往会产生很多表，过多历史表会很快消耗掉有限的hdfs资源，并且时间过于久远的表一般不会具有利用价值了，如果不及时清理这部分hive表会造成hdfs资源的严重浪费，因此需要有一个类似于HiveClean的定时任务，执行定期清理旧数据的逻辑。动机在接手这个功能需求的时候，已经有了一个HiveClean的版...

weixin_35578119的博客 517

彻底搞懂 Hive｜Spark DDL语句 ｜ ALTER 语法

HIVE 的DDL语句中的 ALTER 语法你了解多少，本博客让你彻底搞懂

半吊子Kyle的博客 6392

arcengine遍历属性表_记录一次Hive表清理过程

记录一次Hive表清理过程背景 时间：2020-07-17在用spark+hive做数仓的过程中往往会产生很多表，过多历史表会很快消耗掉有限的hdfs资源，并且时间过于久远的表一般不会具有利用价值了，如果不及时清理这部分hive表会造成hdfs资源的严重浪费，因此需要有一个类似于HiveClean的定时任务，执行定期清理旧数据的逻辑。动机在接手这个功能需求的时候，已经有了一个HiveClean的版...

weixin_39796152的博客 255

PySpark｜使用 CREATE TABLE AS 向 Hive 写入数据导致换行异常问题的处理方法

发现下游表的记录数比预期要多，进一步排查发现其中存在部分唯一键为空的记录，疑似是部分字符串字段中包含特殊字符导致这些记录被拆分为多条记录，而被拆分出的记录没有唯一键。进一步定位找到这些记录，发现导致被拆分的特殊字符应该是换行符（通过增加日志，发现 UDF 前后 DataFrame 都是一行，推测是在写出时变成多行。是 Hive 中用于处理简单分隔格式数据的结构，其默认的行分隔符是。出现类似问题，极有可能是因为写入 Hive 时使用了。，而是先在 Hive 建表，然后使用。综上，问题原因已经明确。

长行 709

sqoop导出hive表到mysql报错

hive表使用sqoop导入mysql报错，查询原因是分区字段出现了NULL，而分区字段又是mysql表中的主键。 查看HDFS上出现一个date=__HIVE_DEFAULT_PARTITION__的分区，就是分区字段为NULL的那些数据记录 使用hdfs命令，手动删除date=__HIVE_DEFAULT_PARTITION__的分区后再次执行sqoop脚本，发现出现另外一个错误： 执行MSCK REPAIR TABLE命令： hive> MSCK REPAIR TABLE ads.ads_i

ChengYanan的博客 1078

Hive drop table时出现 Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

在使用Hive的时候一直小心翼翼，因为对Hive掌握不够好，每次出错都要找半天才能找到错误所在，这次在删除一个表的时候，报了一个错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your ...

qq_41725214的博客 1084

hive使用笔记

一、 相关参考一、 相关参考二、 内置函数1. 字符串操作字符串函数rlike,like,not like使用详解正则表达式2. 进制转换string三、 多表指向同一份数据1） 创建外表，指向同一个数据源，修复分区（或添加分区）；2） 创建视图；使用正则方法查找库名或表名五、 hive参数设置对于分区较多或文件较多的表，清空数据或删除表时速度很慢， 可以先删元除数据再删除数据，即内表转外表删除元数据后再删除底层数据；

盛源的博客 1988

hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :

风行天下 3万+
上一篇： Datax MySql字段关于date类型的入kafka时间不一致问题
下一篇： namenode由于jn写入超时异常
点赞 0
评论 1
书签 书签 0
大数据左右手
大数据左右手
博客等级 码龄9年 475粉丝 116原创
+ 关注 专栏目录 订阅专栏
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值