记录一次hiveserver2卡死(假死)问题

最新推荐文章于 2025-05-20 10:17:23 发布
最新推荐文章于 2025-05-20 10:17:23 发布
阅读量1k 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41956627/article/details/142913203

问题描述

给开发人员开通了个账号，连接hive进行查询，后来发现，hive服务有时候会卡死，查询不了，连不上（所有账号/客户端都连不上hive），但在chd里面看监控，服务器资源状态正常，查看hive日志也没发现明显异常。

重启hiveServer2服务后，hive能恢复正常；或等待较长一段时间后也能自己恢复；
但hive恢复后出异常的时间不规律；

后又发现，在hive卡死期间，服务器后台查看到hive服务的cpu使用率很高
在这里插入图片描述

问题原因和解决

后来和开发沟通过程中，发现其构造的hive-sql中有些sql中用的 in子句里面有数万/十多万个值，导致拼接的sql非常长，经过验证，发现执行这种sql时，就会导致hive处于卡死状态；

优化相关sql后，问题解决

数据仓库之hiveserver2启动不了解决
weixin_43854618的博客
08-07 7809
hiveserver2是hive的一个服务端，把服务端开启后，可以在别的地方登录hive来操作hive。因为有一些比较长的hivesql在命令行打起来会有点不方便，所以使用一个工具来操作hive----DBeaver。 本来用着好好的，突然重启了一下HDFS之后，hiveserver2突然启动不了了，什么提示也没报，如下所示： [hadoop@hadoop103 hive]$ hiveserver2 SLF4J: Class path contains multiple SLF4J bindings. S
tomcat启动卡住不动_导致罗茨风机转不动的原因和平时的轴承保养方法
weixin_39830175的博客
11-19 126
一六机械给大家介绍一下导致罗茨风机转不动的原因和平时的轴承保养方法导致罗茨风机转不动的原因：1.异物卡住了大颗粒进入风机腔，阻挡部件之间的间隙，导致风机不旋转。这需要清洁腔内的异物并检查叶轮之间的间隙。还要检查异物落入的原因，以避免再次发生故障。2.叶轮损坏叶轮会损坏风机并且不会转动。这种错误很容易理解。叶轮和叶轮相互咬合，使叶轮转动。这种故障需要拆卸和检查外壳。3.齿轮损坏正常的齿轮闭塞区域约为...
hive服务器hive --service metastore出现错误Could not create ServerSocket on address 0.0.0.0/0.
最新发布
zzl8888888的博客
05-20 169
1、查看jps,发现原来很多RunJar没有停止，需要先kill。2、重新启动hive --service metastore。
启动 hiveserver2失败，一直卡住
YellowXiuHui的博客
03-05 1万+
一.要知道，HiveJDBC访问Hive， 1.必须先启动hiveserver2服务 [atguigu@hadoop102 hive]$ bin/hiveserver2 2.启动beeline [atguigu@hadoop102 hive]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> 3.连接hiveserver...
运行bin/hive --service hiveserver2一直在加载中
2302_77129302的博客
12-08 189
运行bin/hive --service hiveserver2一直在加载中，端口号也没有被占用。
【Hive】hiveserver2 启动时卡住
瘦熊的博客
06-12 1万+
hiveserver2启动时卡住 root@slave01:/opt/modules/hive-2.3.5/bin# hive --service hiveserver2 2019-06-12 21:19:09: Starting HiveServer2 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found bindin...
hive卡死问题（进入服务卡死）
jyj019的博客
01-06 3775
最近安装了一套测试系统，在测试系统的时候，发现有服务正常，但无法进入hive的后台界面。不管是输入hive 还是具体的hive -e 语句执行，都有相应的问题。最后问题定位为相应组件问题。
Hiveserver 2 启动中的问题
qq_36259161的博客
09-18 1630
Hiveserver 2 部署中的坑 这篇文章主要记录了笔者在部署与启动 Hiveserver 2 中遇到的几个问题 这里写几个重要的组成部分，后面会用到 配置文件hive-site.xml 这个配置文件有两个常用的重要配置: hive.server.thrift.port: Hiveserver 2 的监听端口，默认为10000; hive.server.thrift.bind.host: Hi...
hiveserver2启动卡住了不动_摩托车骑行时突然熄火，脚启动踩不动
weixin_42470196的博客
12-22 328
今天中午在吃午饭的时候，有个顾客(他的车子是一辆力顶杆机帆太子车)打了电话：“袁师傅，我的车子坏掉了。刚刚下班回来的路上，突然听到一声咔的一声，车子就熄火了。用脚踩都踩不动。车子是不是要大修？“。我说：”先别急，你车子是突然之间熄火还是慢慢熄火？“他说，车子过一个小坎，突然一下就熄火了，电启动打不着，用脚踩也踩不动。我又问他，车子什么时候换的机油，不会是没机油了吧。他说刚换了没多久，还不到一个月。...
Hiveserver2无法启动解决方法
weixin_45339834的博客
08-18 7582
1.第一种可能的问题是内存不足导致，清除不组要的日志文件。 2.端口号被占用，lsof -i:10000查看端口号占用情况，kill -9 10000杀掉端口号重新启动hiveserver2; 3.hdfs文件系丢失文件，hadoop fsck /查看hadoop状态，显示出现The filesystem under path '/' is CORRUPT代表处于安全模式； 解决：输入hadoop dfsadmin -safemode leave， hdfs fsck / -delete ...
hiveserver2启动运行异常
weixin_54429519的博客
08-30 2570
问题描述: 解决方案：退出hdfs 的安全模式 第一方案:正常退出安全模式 hdfs dfsadmin -safemode leave 如提示Safe mode is OFF，那就说明退出成功，但有时候这个命令也没办法退出安全模式，就需要使用强制退出 第二种：强制退出安全模式 hdfs dfsadmin -safemode forceExit ...
hiveserver2启动不了
m0_55834564的博客
03-28 2298
hiveserver2启动不了 端口号被占用，lsof -i:10000查看端口号占用情况，kill -9 10000杀掉端口号重新启动hiveserver2; 问题： [root@hadoop ~]# hiveserver2 which: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/soft/hadoop/bin:/usr/soft/hadoop/sbin:/usr/soft/hive
进入hive时卡住
leezsj的博客
07-07 2508
Logging initialized using configuration in jar:file:/opt/soft/hive-2.3.7/lib/hive-common-2.3.7.jar!/hive-log4j2.properties Async: true Operation category READ is not supported in state standby 启动顺序有问题， 环境：zookeeper高可用，yarn高可用 先开zookeeper zkServer.sh
hive打开计算引擎session卡死
小王是个弟弟
12-06 1724
平台：H3C DataEngine 表现形式：启动hive shell第一次执行走计算流程的sql时，打开计算引擎的session时卡死，可视化查看任务正常提交，就是无法执行。 原因解释：无论什么yarn调度器默认都是单队列，H3C使用的是公平调度器，但队列中存在其他正在执行的任务导致队列资源占用达到10%，导致后面的任务需要等待前面的任务走完，卡死的根本原因是安装了spark，导致后台会启动spark session且一直运行，导致之后的任务无法提交。 解决方案：配置yarn多队列 <?xml .
HIVE运行卡死没反应的亲测解法
xxhcomputer的博客
09-14 3282
这是一个解决hive操作卡住的方案，希望可以帮到遇到相同问题的同学 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum number of reducers: set hive.exec.reducers.max=
hiveserver2总是启动不起来
热门推荐
九师兄
06-29 2万+
问题1：端口占用 启动情况如下 lcc@lcc conf$ lcc@lcc conf$ hive --service hiveserver2 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/lcc/soft/hive/hive/lib/log4j-slf...
【大数据生态】HIVE运行卡死没反应
m0_64280569的博客
03-24 1678
其实呢，我最开始就开始尝试打开yarn客户端界面了，但是没有打开，其实我发觉到我用的地址错误了，因为yarn并没有部署在了hadoop102上面，而我发觉之后立马改正，可还是打不开，我不由得觉得我的地址是不是真的输错了，哈哈哈哈，挺逗的，卡了好几分钟，最后在部署yarn的虚拟机(hadoop103)上面jps了一下，发现真的没有启动集群。最后，我发现这位博主写的其实没错，没有解决是因为我没进行前面的操作(1,2,3,4)。我也是直接进行了最后的3条指令，宝贝，结果还是卡着了。等待了几分钟，无果，被迫。
Hive执行复杂查询突然卡住不动解决办法
zp17834994071的博客
09-02 7585
有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill. 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死. 查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小. 这时时候就要到hadoop的安装目录下的/etc
Hive 启动卡在加载中？解决方法及排查指南
2301_77836489的博客
04-02 422
Hive 启动卡在加载中？解决方法及排查指南
hiveserver2杀死
12-13
HiveServer2（简称HS2）是Apache Hive中的一个服务，它允许客户端通过Thrift协议与Hive进行交互。HiveServer2提供了更好的安全性和多用户并发访问支持。如果需要杀死HiveServer2进程，可以按照以下步骤进行： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值