如何kill掉hadoop正在执行的jobs

最新推荐文章于 2022-01-18 18:06:36 发布
原创 最新推荐文章于 2022-01-18 18:06:36 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当MapReduce任务出现异常，无法正常执行时，可通过hadoop命令进行任务的终止操作。首先使用'hadoop job -list'查看当前运行的所有job，找到目标job的编号后，执行'hadoop job -kill [job编号]'即可终止指定的MapReduce任务。

当MapReduce任务不能正常执行时，我们可以将该任务kill掉。
使用 hadoop job -list 列出当前hadoop正在执行的jobs。
可以查看到job任务的编号，然后使用命令：
hadoop job -kill job编号 来杀死该job任务。

Hadoop【使用篇】05：MapReduce任务日志查看
weixin_40612128的博客
03-01 4826
MapReduce任务日志查看
Hadoop
Amateur_engineer的博客
08-02 2154
​
kill hadoop job
The Big Data Way
06-07 238
查看当前运行job列表：     hadoop job -list     kill job举例，最后一个参数是Job Id     hadoop job -kill job_201106031716_0031      
hadoop job kill
YouAreLion的博客
05-30 537
$ hadoop job -list $ hadoop job -kill job_2018xxxxxxxxx_12345
hadoop杀死正在运行的任务(或杀不死的任务)
JOB66的博客
10-23 1844
1.hadoop job -kill $JobId 2.mapred job -kill $JobId 这两个方式一致，如果无法杀死(卡死) 3.yarn application -kill $ApplicationId 可解
hadoopkill一个job
shuhuai007的专栏
10-31 873
${HADOOP_HOME}/bin/hadoop job -kill job_id hadoop的job在运行的过程中reduce 100%并不代表job全部做完，可以查看reduce输出判断是否全部做完，然后再去需要的数据 查看地址 http://ip:50030/jobtracker.jsp
如何杀掉当前正在执行的hadoop任务
热门推荐
lxpbs8851的专栏
08-28 4万+
列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently running JobId   State   StartTime       UserName        Priority        SchedulingInfo job_2012
【Hadoop】集群运行卡在Kill Command = /opt/module/hadoop-2.7.2/bin/hadoop job -kill job_1582192539192_0001
HR的博客
01-18 2880
当hive运行卡主不动时，报错如下 hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the aver
【异常】Hive作业异常kill ：Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常
qq_29726945的博客
12-21 469
问题描述 在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下： Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_...
Hive执行命令卡在Kill Command 无法运行的解决方案
汤川的万事屋
02-20 4566
执行简单查询select count(*) from test; 任务开始运行之后卡住不动，也不报错，信息如下： hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching ...
Hadoop 文件命令
云计算?
07-13 355
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ hadoop dfs -rmr /user/cl/temp** 上传文件* 上传一个本机/home/c...
Hadoop如何Kill指定用户的所有Job
hi_23
11-15 1268
参考链接 Hadoop如何Kill指定用户的所有Job
Hadoop 查看/杀掉 Job
千里之行始于足下
11-17 4253
Java的我稍后再补上：通过命令行的方式： 1.查看所有的Job： hadoop job -list 则显示如下一堆的job： JobId State StartTime UserName Priority SchedulingInfo job_201212111628_11166 1 1375083632268 dbs
hadoop中把job kill掉
小小苹果的专栏
10-10 962
有时候run out of memory了，怎么把job手动kill掉呢？用下面l
hadoop如何杀掉正在执行的job
阿十爸爸的博客
05-22 4970
查看当前正在执行的进程： sh  hadoop job -list 执行杀死进程的命令： hadoop job -kill job_201212111628_11166 如果正确执行，则系统提示： Killed job job_201212111628_11166
kill job
cslz25498的博客
08-20 344
alter system set job_queue_processes=0 scope=both; 第一步：查看正在运行的jobs SQL>select * from dba_...
kill 当前的所有的job
cominglately的博客
09-18 1687
kill $(jobs -p)
hadoop job 命令_hadoop常用命令详细解释
weixin_39654245的博客
12-21 521
#运行一个代理的namenodejobtracker run the MapReduce job Tracker node#运行一个MapReduce的taskTracker节点pipes run a Pipes job#运行一个pipes作业tasktracker run a MapReduce task Tracker nod...
Hadoop集群通过UI界面监控的内容
xiaoyutongxue6的博客
04-06 5412
        通过访问http://jobtracker-localhost:50030/来监控该集群的运行情况：        JobTracker页面主要包含五部分：        第一部分：是Hadoop安装的详细信息：比如版本号、编译完成时间、JobTracker当前的运行状态和开始时间。        第二部分：是集群的一个总结信息：集群容量（用集群上可用的Map和Reduce任务槽的...
Kill Command = /export/software/hadoop-2.7.5/bin/mapred job -kill job_1750917847304_0008 Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0 2025-06-27 09:10:45,064 Stage-1 map = 0%, reduce = 0% Ended Job = job_1750917847304_0008 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL Total MapReduce CPU Time Spent: 0 msec
最新发布
06-28
### 杀死 Hadoop 任务并调试 MapReduce 执行失败问题 在处理 Hadoop 任务时，如果发现某个作业执行失败（如错误代码 `return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask`），通常需要先终止该任务，然后分析日志以定位根本原因。 #### 终止 Hadoop 任务 可以使用以下命令来杀死一个正在运行的 Hadoop MapReduce 任务： ```bash /export/software/hadoop-2.7.5/bin/mapred job -kill job_1750917847304_0008 ``` 此命令会向 JobTracker 发送请求，要求终止指定 ID 的作业。确保路径 `/export/software/hadoop-2.7.5/bin/` 是当前环境中可用的 Hadoop 安装路径 [^3]。 #### 分析执行失败的原因 MapReduce 作业失败可能由多种因素引起，包括但不限于资源不足、输入数据格式错误、配置错误或代码逻辑问题。例如，Hive 中的 MapRedTask 失败返回代码 2 表示在 MapReduce 阶段发生了异常，这可能是由于数据解析错误或内存溢出等问题引起的。 为了进一步诊断问题，可以通过查看 Hadoop 的历史日志文件来获取详细信息。这些日志通常存储在 `/tmp/hadoop-yarn/staging/history/done_intermediate/` 目录下，并且可以根据作业 ID 查找对应的 `.jhist` 文件进行分析 [^1]。 例如，查看特定作业的日志： ```bash cat /tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1750917847304_0008.jhist ``` 此外，还可以通过 YARN 的 Web UI 或者使用 `yarn application -list` 和 `yarn logs -applicationId <ApplicationId>` 命令来获取更详细的日志输出。 #### 调试与优化建议 - **检查资源分配**：确认集群是否有足够的资源（CPU、内存）来运行作业。 - **验证输入数据**：确保输入数据格式正确，没有损坏或不符合预期的数据记录。 - **调整配置参数**：根据作业特性调整 `mapreduce.map.memory.mb`、`mapreduce.reduce.memory.mb` 等相关配置项。 - **增加重试次数**：对于偶发性故障，可以在 Hive 配置中设置适当的重试策略。 - **优化查询逻辑**：简化复杂的 HiveQL 查询，减少 shuffle 数据量，提高性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值