hiveserver2经常挂掉

最新推荐文章于 2023-09-04 15:02:16 发布
原创 最新推荐文章于 2023-09-04 15:02:16 发布 · 3.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

这篇博客探讨了Hive运行时遇到的堆空间不足问题，通常由默认堆大小配置过小引起。解决方案是在hive-env.xml配置文件中增加参数，增大堆内存至512MB或以上，以确保Hive服务能够稳定运行并处理大数据查询任务。

一般是默认堆空间过小导致的
将hive(根路径下)/conf/hive-env.xml文件里增加一行配置更改堆大小为512mb或者以上
在这里插入图片描述

HiveServer2 频繁宕机根本原因分析
spark_dev的博客
02-22 4746
问题描述： hiveServer2跑一段时间后, 一般在凌晨就会宕机（凌晨有很多定时任务），宕机比较有规律，就是跑几天就宕一次，分析一下原因。作业没有特别大的任务。 分析方法：jstat, dump 分析结论：hive2的hiveServer本身内存泄漏造成 解决方法：不解决或升级。
HiveServer2 Service Crashes(hiveServer2 服务崩溃)
cclovezbf的博客
10-07 2248
Troubleshooting Hive | 5.9.x | Cloudera Documentation1.hive分区表太多(这里没有说具体数量。)2.并发连接太多，我记的以前默认是200个连接 3.复杂的hive查询访问表的的分区4.hs2实例数太少如果存在这些情况中的任何一种，Hive可能运行缓慢，或者可能崩溃，因为整个HS2堆内存已满。1.hs2服务直接挂掉，或者你开启新会话失败。2.hs2服务看起来是好的，但是你连接被拒绝3.查询提交重复失败4.查询一直在提交，查询时间长这里太长了，我直接用我自
Hive中跑MapReduce Job出现OOM问题分析及解决
热门推荐
OopsOutOfMemory盛利的博客
11-21 2万+
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred
【CDH】CDH集群hiveserver2服务频繁挂掉
Mrerlou的博客
05-27 1778
问题现象： cdh集群 master00节点 hiveserver2服务2小时内挂掉2次，报内存溢出的问题。 错误日志如下： 问题排查： 打印一下堆的gc 信息 jstat -gc pid 1000 5 堆设置了4g的内存，Eden区只有400M, s0 和 s1区 更小，然后剩余的空间都是老年代区，空间配置不合理，重新配置下堆空间。 解决方案： 设置hiveserver2的jvm参数 -Xmn2g -XX:NewRatio=4 -XX:MaxPermSize=512M -XX:+UseParNew
hiveserver2经常挂断的原因
qq_43688472的博客
09-04 2683
配置问题：不正确的配置可能导致 HiveServer2 发生问题。如果资源不足，可能会导致 HiveServer2 挂断。Hive 版本问题：某些 Hive 版本可能存在已知的问题或 bug，可能会导致 HiveServer2 挂断。确保使用的 Hive 版本是稳定的，最好是已修复了已知问题的最新版本。查询问题：某些查询可能会占用大量资源或导致错误，从而导致 HiveServer2 崩溃。并发连接数量过多：如果 HiveServer2 处理大量并发连接，可能会超过其容量限制，导致崩溃或挂断。
hiveserver2总是无故挂掉
m0_74903429的博客
12-01 2034
原因；一般情况下是默认堆空间过小导致 解决措施：将hive(根路径下)/conf/hive-env.xml（也可以是hive-env.sh.template)文件里增加一行配置更改堆大小为512mb或者以上
hiveserver2启动后又挂掉
05-26
4. 检查资源：如果HiveServer2没有足够的资源（如CPU、内存等），也可能会导致HiveServer2挂掉。因此，您应该确保系统有足够的资源来支持HiveServer2运行。 5. 检查版本：如果您在使用HiveServer2时遇到问题，可能...
hiveserver2运行异常：GC overhead limit exceeded
ImezZ
02-21 2492
记一次hiveserver2服务运行异常问题。 报错信息： java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方法： 修改hive配置文件hive-env.sh。将原来注释的替换成如下配置 # Hive Client memory usage can be an issue if a large number of clients # are running at the same time. The flags below h
HiveServer2频繁宕机 - Hive踩坑记录
大数据研究小白
08-04 1765
在跑定时任务一段时间后，会出现管道断开的错误日志，并且Hs2的10000端口宕机。
linux多线程入库hive,hiveserver2 定时挂采坑记
weixin_39613561的博客
05-13 275
0 问题描述集群的 3 台 hiveserver 非常有规律 (每隔 4-5 天)相继下线，无法提供服务，日志里面大量报错，报错里面的一个关键信息如下：logs/hiveserver2.log.2019-04-09:2019-04-09 17:53:42,526 ERROR [HiveServer2-Handler-Pool: Thread-741270]: util.Shell (Shell.j...
hiveserver2掉线修复
weixin_39037208的博客
12-09 2222
使用hive发现hiveserver2有时会挂掉，查看hive.log发现里边没有相关信息， 但在启动hiveserver2的目录下还有一个nohup.out文件，这里边保存有运行信息，打开发现是因为 这种情况是出现在运行了一个错误的查询之后，可以重启或者将值稍微调大一点。 ...
CDH HiveServer2异常退出
fansy1990的专栏
07-10 5958
本篇参考：http://blog.youkuaiyun.com/gklifg/article/details/50418109、http://blog.youkuaiyun.com/levy_cui/article/details/53992402、http://blog.youkuaiyun.com/lulynn/article/details/46455097。在使用CDH集群的过程中，出现HiveServer2刚启动没多久，客
Hiveserver2异常退出，导致连接失败的问题。
LLDDDS的博客
09-11 1713
Could not connect to hadoop02:10000(code THRIFTTRANSPORT):TTransportExportException(‘Could not connect to hadoop02:10000’,) 解决方法：修改HiveServer2 的 Java 堆栈大小. 默认配置为50MB,比较小,运行时会出现上面的错误以及运行卡顿的情况,建议将值根据自己的系统配置调大. ...
hive连接数异常升高，线程卡死异常分析
wflh323的专栏
05-28 4619
最近使用hue 查询hive 出现超时，sql提交无反应。cdh监控发现HS2连接数直线上升，cpu使用率升高一直占用cpu，如下图： 使用netstat命令查看端口连接状态，发现端口出现大量FIN_WAIT2的状态，重启hive后恢复正常。开始怀疑是网络丢包问题，检查服务器上其它进程正常，隔段时间问题重新，怀疑是hive服务本身卡死，端口状态如图： jstack打...
hiveServer2 挂起处理
张伟的专栏
11-26 2307
clouderamanger 5.4.5 hiveserver2 时间：20151126 现象：insert overwrite table tmp_avro_car_zw select car_id , car_plate_number , car_plate_color , trailer_id , car_owner , car_owner_address , car_sta
解决云服务商hiveserver2服务不稳定的问题
草小诚的博客
03-07 2243
系统对hive
idea连接hive老是自动断开连接java.net.ConnectException: Connection refused: connect.
小五的博客
12-17 1694
原因：hive的jdbc服务hiveserver2服务不稳定，容易掉线，导致idea无法连上hive，实际上idea能连上hive靠的就是hiveserver2服务。解决办法：在hive的配置文件hive-site.xml中开启hiveserver2服务的高可用，即掉线了会马上再开启一个，配置如下。
hive执行insert overwrite失败，报错 could notbe cleaned up错误
云想慕尘的专栏
11-29 6635
问题描述 用户zhangsan执行insert overwrite： INSERT OVERWRITE table temp.push_temp PARTITION(d_layer='app_video_uid_d_1') SELECT ... 报错目的目录无法清理——could not be cleaned up： Failed with exception Directory hdfs://Ucluster/user/hive/warehouse/temp.db/push_temp/d_layer
系统增加对hiveserver的负载均衡及单个server挂掉的保障
Royce Wang专栏
12-22 3696
前期，dip-data-analyze 实现了线上的基本功能，这段时间，随着本部门及其他部门在上面跑任务增多，对hiveserver使用并发要求越来越高。 之前碰到过很多次 hiveserver发生stackoverflow问题，发生该问题后，hiveserver就会很快失效，表现是进程在，端口通，但是不再接受任务。 原因是hiveserver设置方法栈较低，之前-Xss=12
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值