hive一直卡住不动

最新推荐文章于 2024-10-14 11:27:37 发布
最新推荐文章于 2024-10-14 11:27:37 发布
阅读量8.4k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 错误
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38842096/article/details/88423155
在使用Hive进行SQL查询时，遇到查询卡住的问题，通过jps发现ResourceManger未启动。启动ResourceManger后，问题得以解决。本文介绍如何通过start-yarn.sh启动YARN资源管理器，确保Hive查询正常运行。

在使用hive 进行sql查询的时候，涉及mr的时候就会卡主不动。

jps 发现ResourceManger没有启动

启动之后会没事了

start-yarn.sh
hive元数据库启动失败
weixin_53323742的博客
04-20 1220
hive> show databases; FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me 解决方法 [student@hadoop102 hive-3.1.2]$ cd bin/ [student@hadoop102 bin]$ ./hive --service metastore & [1] 4215 [student@h..
hive小文件合并机制_hive小文件合并问题
weixin_34378148的博客
02-01 669
背景Hivequery将运算好的数据写回hdfs(比如insert into语句)，有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的map task，耗费大量集群资源，而且小文件过多会对namenode造成很大压力。所以Hive在正常job执行完之后，会起一个conditional task，来判断是否需要合并小文件，如果满足要...
执行mr或hive聚集查询卡死
养猪少年日记的博客
05-30 1400
在CDH上安装了hive进行一般查询没有问题,聚合查询就卡死,如图 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态. 说明mr有问题,执行mr job ,果然卡死 查询得知是因为yarn的物理内存过少,建议配置为运行内存大小或二倍运行内存大小. yarn-site.xml <property> <name>yarn.nodemanager.res...
hive卡在 kill command不动不能执行的原因及解决方案
毕竟远侦探的博客
05-31 7515
hive进行聚合查询的时候卡在kill command，不能往下进行。如下图： 当执行select*from students;语句是可以运行出结果，但是只要附加条件进行查询就会卡死在这个地方，返回不出结果。 解决方案： 一、 1、select*from students 没有问题，但一旦执行select count() from students where gender=‘女’ 后就不继续执行...
hive中执行select count(1) from table 一直无反应的问题
weixin_46897235的博客
04-07 958
解决hive无法执行select条件查询的问题
Hive执行复杂查询突然卡住不动解决办法
zp17834994071的博客
09-02 7602
有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill. 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死. 查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小. 这时时候就要到hadoop的安装目录下的/etc
hive sql 卡在提交JOB，mapreduce无法正常执行。
weixin_43930715的博客
11-19 4116
hive sql卡在提交job，无法执行mapreduce 在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。 而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。 解题思路 我先查看我的hdfs集群各个节点的服务是否成功启动，使用jps查看。 查看发现hdfs正常启动后，我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧
hive集群tez引擎执行任务卡住
weixin_43923463的博客
03-31 3055
更换tez引擎后，如果执行任务卡住，修改调节容量调度器的资源调度策略，修改以下配置信息 cd /opt/module/hadoop-3.1.3/etc/hadoop/ vim tez-site.xml <!--容器给AM分配的资源--> <property> <name>tez.am.resource.memory.mb</name> <value>1024</value> </proper...
【大数据生态】HIVE运行卡死没反应
m0_64280569的博客
03-24 1687
其实呢，我最开始就开始尝试打开yarn客户端界面了，但是没有打开，其实我发觉到我用的地址错误了，因为yarn并没有部署在了hadoop102上面，而我发觉之后立马改正，可还是打不开，我不由得觉得我的地址是不是真的输错了，哈哈哈哈，挺逗的，卡了好几分钟，最后在部署yarn的虚拟机(hadoop103)上面jps了一下，发现真的没有启动集群。最后，我发现这位博主写的其实没错，没有解决是因为我没进行前面的操作(1,2,3,4)。我也是直接进行了最后的3条指令，宝贝，结果还是卡着了。等待了几分钟，无果，被迫。
hive正常安装后执行任何命令都会卡住
yukuaifeng的博客
12-15 5819
这次只是简单记录一下困扰了我两天的一个问题：         起初，我按照网上的步骤安装好了MySQL5.6，又安装了hive2.3，成功初始化启动，但是进入了命令行之后，不管是执行什么命令，sql命令甚至是exit，都会卡住，而且是无限卡住，我根本找不到原因，找了很多教程，确认了很多遍我的配置是没错的，还是没有任何办法。 后来我看到了一个教程，说明问题出在了hive-site.xml的配置上，
hive 提交任务时Job init failed
bigdataprimary的博客
06-26 523
背景：oozie+hive+python. 执行操作：在oozie中配置python脚本动态拼接SQL使用hive执行 关键操作：hiveSQL中有动态分区 报错信息： 2019-03-26 13:53:51,437 WARN [main] org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl: Job init failed or...
Hive查询问题（卡住）
小菜
07-27 5738
一、现象 几乎全部SQL语句都不能查，卡死在那里，过很久之后可能会报 FAILED: Error in acquiring locks: Error communicating with the metastore 但是查看后台hive的日志，没有任何异常 SQL语句比如： select 1； show tables； 二、定位原因 1、重启hiveserver2，MetaStore等服务都没有效果 2、考虑是hive元数据的问题 查看hive元数据表的使用情况 show OPEN
hive 多用户访问模注意问题
JHON07的博客
07-10 507
首先是安装mysql 安装mysql数据库及客户端yum install mysql-serveryum install mysqlservicemysqld start　步骤一： yum -y install mysql-server　步骤二：service mysqld start　步骤三：mysql -u root -p　　Enter password: （默认是空密码，按enter）　　　...
hive启动问题【待解决】
weixin_43883880的博客
08-07 399
这里写目录标题hive启动问题尝试解决 hive启动问题 尝试解决 先重启解决90%的问题 reboot 不要忘了将mysql驱动包拷到lib目录中 mysql-connector-java-5.1.27-bin.jar 启动hadoop start-all.sh 查看一下进程 jps 2727 NodeManager 2601 ResourceManager 3001 Jps 2138 NameNode 2443 SecondaryNameNode 2270 DataNod
记录一次hiveserver2卡死(假死)问题
weixin_41956627的博客
10-14 1117
由于执行的sql太长导致hive卡死的问题记录
在hive配置snappy压缩后执行查询语句报错的原因
smsmtiger的博客
11-05 1332
在hive配置snappy运行select count(ename) name from emp;报如下错误 org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was built without snappy support...
plsql执行命令for update时一直加载而不返回结果。
a64457558的博客
08-12 2507
在for update后添加nowait；即for update nowait; 转载于:https://www.cnblogs.com/dllh/p/11340679.html
Hive执行查询（需要通过MR）卡住无法运行问题解决
weixin_43190860的博客
06-24 8368
背景：测试hive时，执行简单查询select count(*) from test.t1;，任务跑起来后卡住不动，也不报错，如下图： 原因：最后发现是参数：yarn.nodemanager.resource.memory-mb设置的太小导致的 进入CDH管理界面，Yarn的配置中这个参数显示如下： 这里的“容器内存”这个解释误导了我，开始我以为这个参数是设置每个container容器的内存大...
hive执行表操作指令卡死问题的解决
AceCream的博客
04-08 9920
问题描述 在对hive表执行alert的时候，发现卡住不动了，退出后重进尝试drop表，依然卡住不动。 找解决方案如下： 1.网上的方案： 先进入mysql，执行 show variables like 'char%' 查看character_set_database 的value是latin 然后把latin改成utf-8就好了，然后就解决了。 然而实际的情况不是这个样子的，我这边mysq...
hive启动卡住
最新发布
03-26
例如，元数据库连接信息错误，或者HDFS地址配置不正确，都会让Hive在启动时卡住。需要逐一检查这些配置文件的正确性，特别是数据库连接部分。 还有资源冲突的可能性。引用[5]提到在执行某些操作时，如果资源不足，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值