KILL掉当前Hive任务

最新推荐文章于 2025-05-18 00:31:12 发布
原创 最新推荐文章于 2025-05-18 00:31:12 发布 · 9.9k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #杀死任务

在运行Hive任务时遇到第7个job任务卡住的问题，通过使用hadoopjob-list命令列出当前执行的jobs，再使用hadoopjob-kill命令成功杀掉卡住的job任务。

在运行hive任务时，第7个job任务启动后一直不动，感觉是除了问题在这里插入图片描述
于是准备kill掉hive任务

使用hadoop job -list来列出当前hadoop正在执行的jobs

在这里插入图片描述

然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务，
在这里插入图片描述

成功
在这里插入图片描述

Hive 任务重试导致结果错误的原因分析及处理方法
houzhizhen的专栏
05-16 1052
Map 任务中的数据使用随机数作为分区函数时，相同的数据每次执行不固定到相同的 Reduce 处理。导致 Map 任务出错重试，或者推测执行时，两次执行导致部分数据丢失。
Hive与MR任务优化参数
别人笑我太疯癫，我笑他人看不穿。
09-09 1506
1.当你的查询数据量较大，此时spark等其他计算引擎会因为自身复杂的执行计划导致计算量很大，再加上计算中的硬性资源消耗，导致需要的资源使你无法接受，此时如果你可以接受较长时间的运行等待，建议使用hive，因为hive底层用的mr，任务分割截止到一次mr，没有那面大的消耗需求，你可以通俗的理解为hive只需要有你数据量大小和跑数据需要的进程类开销既可，它没有spark那种复杂的执行计划，因此它的使用成本是目前大数据计算引擎中最低的一个，单效率也是最慢的，不过对于大任务的处理，更稳定。
kill(杀死)hive进程(job)的2种方法
weixin_42412645的博客
07-26 8736
先去yarn界面查找你要杀死的程序，在最右边ApplicationMaster点进入下面界面 方法1. yarn application -kill application_Id 方法2. hadoop job -kill job_id
杀掉hive job 的几种方法
limiao_haoniubi的博客
09-27 3677
简单介绍几种杀hive的办法 要想杀干净 先杀脚本 ps -ef|grep 脚本 kill -9 进程号 后杀 job 1、hive 跑起来会有日志 查看日志找到 job号INFO : Starting Job = job_1591243491921_929733 hadoop job -kill job_1591243491921_929733 2、yarn杀死 yarn application...
Hive 卡住 Kill Command = //opt/soft/hadoop/bin/hadoop job -kill job_1679903056287_0001
好民小张的博客
03-27 598
Hive 卡主 Kill Command = //opt/soft/hadoop/bin/hadoop job -kill job_1679903056287_0001
Hive执行复杂查询语句卡死在kill command
qq_54467680的博客
12-03 2300
Hive执行复杂查询语句卡死在kill command 尝试了改内存等多种办法后还是不行，重启Hadoop服务后解决问题
hive卡在 kill command不动不能执行的原因及解决方案
毕竟远侦探的博客
05-31 7568
hive进行聚合查询的时候卡在kill command，不能往下进行。如下图： 当执行select*from students;语句是可以运行出结果，但是只要附加条件进行查询就会卡死在这个地方，返回不出结果。 解决方案： 一、 1、select*from students 没有问题，但一旦执行select count() from students where gender=‘女’ 后就不继续执行...
hive设置停止mr任务
03-20
这可能适用于Hive任务，因为Hive通常运行在YARN上，生成的是MapReduce或Tez作业。此外，引用[4]讨论了Hive使用Tez引擎时的优化，但用户的问题是关于停止MR任务，所以Tez可能不是当前的重点，但需要确认是否涉及不同...
hive的一些报错及解决方法
12-18
- 确认Hadoop集群的主节点，如果当前的主节点运行了大量任务，可以尝试切换主节点。 - 在备用节点上启动`zkfc`服务，确保Zookeeper Failover Controller服务正常运行。 ```shell hadoop-daemon.sh start zkfc `...
Hive知识
weixin_56345512的博客
11-30 1181
Hive Hive架构 执行流程 Hive的工作原理
HIVE作业管理解决方案分析
Show something
05-09 2462
hive任务处理 对于hive任务展示的时候需要把id和mr id关联， 杀死任务的时候需要把所有属于这个hive语句的任务都杀死。
原生Hive的启动和停止详解
司马班如
05-22 8103
原生Hive的启动和停止详解一、Hive启动命令二、命令详解讲解 原生的Hive没有提供启动的脚本，需要调用命令来启动和停止，启动用nohup结合hive命令来启动，启动Hive的时候，需要把metastore和hiveserver2一起启动，分别来讲解 一、Hive启动命令 nohup hive --service metastore > /tmp/hivemetastore.log 2>&1 & nohup hive --service hiveserver2 > /
【异常】Hive作业异常kill ：Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常
qq_29726945的博客
12-21 475
问题描述 在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下： Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_...
HiveOnSpark
asd623444055的博客
05-10 641
链接：https://pan.baidu.com/s/1LgvdPWQ-VNMlRc2qV4EcRg?pwd=i8n8 提取码：i8n8 1.Hive版本升级 1）上传编译后的apache-hive-3.1.2-bin.tar至集群 2）解压apache-hive-3.1.2-bin.tar.gz tar -zxf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3）将原有的hive进行重命名 mv hive/ hive_bak 4）将新安装的.
卡在kill command解决办法
最新发布
m0_74460642的博客
05-18 303
在hdfs集群中部署hive后，执行wordcount这类复杂一点的查询，会一直卡在kill command。对于这个报错，解决了很久，查了很多地方，一直没改成功，最后问了下朋友才解决。首先，任务卡在 ACCEPTED 状态的核心原因是 物理资源（内存和 CPU）严重不足，同时 YARN 队列的 AM 资源配额限制导致 AM 容器无法启动。在hadoop01上修改capacity-scheduler.xml文件，加入以下内容。但这样操作过于麻烦，于是尝试将这个条件配置进配置文件。
hive 异常任务中间数据清理
sunxunyong的博客
10-30 634
hive在运行过程中，会发现 hdfs /tmp/hive/hive or hdfs 目录占用空间巨大!如果hive中断，或者异常退出，这些中间会话就会一直保存在hdfs上。hive在运行过程中会生产大量的中间会话在/tmp目录下，如果hive正常运行结束，临时会话会被自动清理掉，
大数据-Hive 常用命令
weixin_30258901的博客
09-12 163
Hive 启动 ~$ hive 退出 hive>quit; --退出hive or hive> exit; --exit会影响之前的使用，所以需要下一句kill掉hadoop的进程 >hadoop job -kill jobid 选择使用哪个数据库 hive> use database_name; -...
如何通过程序kill掉后台运行shell脚本中的mapreduce和hive任务
胖头鱼的专栏
03-23 6399
现有的任务基本上都是在shell脚本中写入：hive -e "$sql" 或者 hadoop jar ...  通过这种形式提交到hadoop集群上，若想在脚本运行中kill掉任务，需要进行2步操作 1. kill掉当前shell脚本所在进程（及其启动的子进程） 2. 在hadoop集群上kill掉相应的mapreduce任务。 其中第一步可以通过用脚本实现，前提是获取该shell脚本的p
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值