hiveserver2经常挂掉

最新推荐文章于 2023-10-07 15:38:47 发布
最新推荐文章于 2023-10-07 15:38:47 发布
阅读量3.2k 收藏 6
点赞数
分类专栏： 错误汇总 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Radiation_x/article/details/115344572
版权

一般是默认堆空间过小导致的
将hive(根路径下)/conf/hive-env.xml文件里增加一行配置更改堆大小为512mb或者以上
在这里插入图片描述

Hive中跑MapReduce Job出现OOM问题分析及解决
OopsOutOfMemory盛利的博客
11-21 2万+
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred
hiveserver2运行异常：GC overhead limit exceeded
ImezZ
02-21 2432
记一次hiveserver2服务运行异常问题。 报错信息： java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方法： 修改hive配置文件hive-env.sh。将原来注释的替换成如下配置 # Hive Client memory usage can be an issue if a large number of clients # are running at the same time. The flags below h
HiveServer2运行慢，不定时宕机，问题排查
spark_dev的博客
01-28 3300
HiveServer2运行慢，不定时宕机，问题排查 文章目录HiveServer2运行慢，不定时宕机，问题排查1. 问题描述2. 原因分析（分析方法）3. 解决方案总结 1. 问题描述 大数据组件 HiveServer2性能问题，有时运行很慢，几天宕机一次，需要不定时重启。 2. 原因分析（分析方法） 分析思路： 运行慢时，jstat 查看 gc回收情况 root@tbds-1:~>ps -ef|grep HiveServer2 hive 137791 1 99 Jan
【CDH】CDH集群hiveserver2服务频繁挂掉
Mrerlou的博客
05-27 1710
问题现象： cdh集群 master00节点 hiveserver2服务2小时内挂掉2次，报内存溢出的问题。 错误日志如下： 问题排查： 打印一下堆的gc 信息 jstat -gc pid 1000 5 堆设置了4g的内存，Eden区只有400M, s0 和 s1区 更小，然后剩余的空间都是老年代区，空间配置不合理，重新配置下堆空间。 解决方案： 设置hiveserver2的jvm参数 -Xmn2g -XX:NewRatio=4 -XX:MaxPermSize=512M -XX:+UseParNew
hiveserver2总是无故挂掉
m0_74903429的博客
12-01 1955
原因；一般情况下是默认堆空间过小导致 解决措施：将hive(根路径下)/conf/hive-env.xml（也可以是hive-env.sh.template)文件里增加一行配置更改堆大小为512mb或者以上
hiveserver2经常挂断的原因
qq_43688472的博客
09-04 2500
配置问题：不正确的配置可能导致 HiveServer2 发生问题。如果资源不足，可能会导致 HiveServer2 挂断。Hive 版本问题：某些 Hive 版本可能存在已知的问题或 bug，可能会导致 HiveServer2 挂断。确保使用的 Hive 版本是稳定的，最好是已修复了已知问题的最新版本。查询问题：某些查询可能会占用大量资源或导致错误，从而导致 HiveServer2 崩溃。并发连接数量过多：如果 HiveServer2 处理大量并发连接，可能会超过其容量限制，导致崩溃或挂断。
HiveServer2 频繁宕机根本原因分析
spark_dev的博客
02-22 4577
问题描述： hiveServer2跑一段时间后, 一般在凌晨就会宕机（凌晨有很多定时任务），宕机比较有规律，就是跑几天就宕一次，分析一下原因。作业没有特别大的任务。 分析方法：jstat, dump 分析结论：hive2的hiveServer本身内存泄漏造成 解决方法：不解决或升级。
hiveserver2启动后又挂掉
05-26
4. 检查资源：如果HiveServer2没有足够的资源（如CPU、内存等），也可能会导致HiveServer2挂掉。因此，您应该确保系统有足够的资源来支持HiveServer2运行。 5. 检查版本：如果您在使用HiveServer2时遇到问题，可能...
HiveServer2频繁宕机 - Hive踩坑记录
大数据研究小白
08-04 1677
在跑定时任务一段时间后，会出现管道断开的错误日志，并且Hs2的10000端口宕机。
占据过多ZK连接的HiveServer2导致的奇葩问题
程序人生
07-03 2822
HiveServer2的0.13版本存在一个bug，会导致占据的ZK连接数超过定义上限，详细可见HIVE-8596（https://issues.apache.org/jira/browse/HIVE-8596）描述。在我们的线上集群中，因为这个bug导致了一个有意思的故障。 线上YARN集群版本为Hadoop2.5.0-cdh5.2.0，包含7个NodeManger节点，假设为host1——h
orc表导致hiveserver2内存暴涨问题分析
u013289115的博客
03-27 3527
orc表导致hiveserver2内存暴涨问题分析 这里写目录标题orc表导致hiveserver2内存暴涨问题分析一、问题描述二、解决过程1.定位起因2.分析sql3.深入分析三、orc文件格式四、问题验证五、解决方案六、总结分析 一、问题描述 昨天上午，钉钉上突然出现一堆hive相关的查询错误的报警。第一感觉，在yarn上查看任务日志，查询了一通，结果没看到有任务相关的报错。于是乎，立马查看h...
linux多线程入库hive,hiveserver2 定时挂采坑记
weixin_39613561的博客
05-13 241
0 问题描述集群的 3 台 hiveserver 非常有规律 (每隔 4-5 天)相继下线，无法提供服务，日志里面大量报错，报错里面的一个关键信息如下：logs/hiveserver2.log.2019-04-09:2019-04-09 17:53:42,526 ERROR [HiveServer2-Handler-Pool: Thread-741270]: util.Shell (Shell.j...
HiveServer2 Service Crashes(hiveServer2 服务崩溃)
最新发布
cclovezbf的博客
10-07 2046
Troubleshooting Hive | 5.9.x | Cloudera Documentation1.hive分区表太多(这里没有说具体数量。)2.并发连接太多，我记的以前默认是200个连接 3.复杂的hive查询访问表的的分区4.hs2实例数太少如果存在这些情况中的任何一种，Hive可能运行缓慢，或者可能崩溃，因为整个HS2堆内存已满。1.hs2服务直接挂掉，或者你开启新会话失败。2.hs2服务看起来是好的，但是你连接被拒绝3.查询提交重复失败4.查询一直在提交，查询时间长这里太长了，我直接用我自
hiveserver2掉线修复
weixin_39037208的博客
12-09 2170
使用hive发现hiveserver2有时会挂掉，查看hive.log发现里边没有相关信息， 但在启动hiveserver2的目录下还有一个nohup.out文件，这里边保存有运行信息，打开发现是因为 这种情况是出现在运行了一个错误的查询之后，可以重启或者将值稍微调大一点。 ...
CDH HiveServer2异常退出
fansy1990的专栏
07-10 5775
本篇参考：http://blog.youkuaiyun.com/gklifg/article/details/50418109、http://blog.youkuaiyun.com/levy_cui/article/details/53992402、http://blog.youkuaiyun.com/lulynn/article/details/46455097。在使用CDH集群的过程中，出现HiveServer2刚启动没多久，客
Hiveserver2异常退出，导致连接失败的问题。
LLDDDS的博客
09-11 1602
Could not connect to hadoop02:10000(code THRIFTTRANSPORT):TTransportExportException(‘Could not connect to hadoop02:10000’,) 解决方法：修改HiveServer2 的 Java 堆栈大小. 默认配置为50MB,比较小,运行时会出现上面的错误以及运行卡顿的情况,建议将值根据自己的系统配置调大. ...
hive连接数异常升高，线程卡死异常分析
wflh323的专栏
05-28 4528
最近使用hue 查询hive 出现超时，sql提交无反应。cdh监控发现HS2连接数直线上升，cpu使用率升高一直占用cpu，如下图： 使用netstat命令查看端口连接状态，发现端口出现大量FIN_WAIT2的状态，重启hive后恢复正常。开始怀疑是网络丢包问题，检查服务器上其它进程正常，隔段时间问题重新，怀疑是hive服务本身卡死，端口状态如图： jstack打...
hiveServer2 挂起处理
张伟的专栏
11-26 2274
clouderamanger 5.4.5 hiveserver2 时间：20151126 现象：insert overwrite table tmp_avro_car_zw select car_id , car_plate_number , car_plate_color , trailer_id , car_owner , car_owner_address , car_sta
解决云服务商hiveserver2服务不稳定的问题
草小诚的博客
03-07 2162
系统对hive
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值