杀死YARN上的大数据任务

最新推荐文章于 2024-07-15 17:19:41 发布

心之所向，或千或百

最新推荐文章于 2024-07-15 17:19:41 发布

阅读量477

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据

本文链接：https://blog.youkuaiyun.com/CodeHeroicX/article/details/132242877

大数据专栏收录该内容

213 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何使用命令行工具和Java代码示例来杀死运行在YARN上的大数据任务，包括获取应用列表、终止指定任务，以实现任务管理与资源释放。

杀死YARN上的大数据任务

在大数据处理中，运行在YARN（Yet Another Resource Negotiator）上的任务是非常常见的。有时候我们需要终止正在运行的任务，以便重新开始或者进行其他操作。本文将介绍如何使用命令行工具来杀死YARN上的任务，并附带相应的源代码示例。

首先，我们需要使用yarn application -list命令来获取当前正在运行的应用程序列表。该命令会返回应用程序的ID、用户、队列、名称和状态等信息。我们可以根据这些信息来确定要杀死的任务。

接下来，我们使用yarn application -kill <application_id>命令来终止指定的应用程序。其中，<application_id>是要杀死的任务的ID。执行该命令后，YARN将发送一个终止信号给任务，然后任务将停止运行并释放资源。

下面是一个使用Java编写的示例代码，演示了如何通过调用YARN的API来杀死任务：

import org.apache.hadoop.conf

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

心之所向，或千或百

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

yarn application -kill杀死yarn上任务

zhengzaifeidelushang的博客

11-25

4035

yarn application -kill杀死yarn上任务 yarn application -kill application_1628735904594_4607155

使用yarn命令终止运行中的大数据任务

BugCrusher的博客

08-28

791

命令，并提供相应的应用程序ID来完成的。在执行终止操作之前，请确保你具有足够的权限，并确保提供正确的应用程序ID。上述命令将列出所有正在运行的YARN任务及其应用程序ID、用户、队列、启动时间等信息。你可以根据任务的特征来确定要终止的任务的应用程序ID。命令，并提供正在运行任务的应用程序ID。是要终止的任务的应用程序ID。你需要将其替换为你要终止的任务的实际应用程序ID。命令查看所有正在运行的YARN任务及其应用程序ID。如果你不知道要终止的任务的应用程序ID，你可以使用。终止YARN上的任务是通过使用。

参与评论您还未登录，请先登录后发表或查看评论

【Shell-Kill】Kill掉Linux进程以及Kill掉Yarn任务

weixin_53543905的博客

07-04

856

【代码】【Shell-Kill】Kill掉Linux进程以及Kill掉Yarn任务。

Flink代码kill掉yarn任务，并且实现自动savepoint。

qq_31866793的博客

09-16

3799

一，最近在做平台，就是前后端分离的项目，简单的说就是对各种组件整合一下子，所以呢，提交任务啥的都在平台上搞了。二，这里实现的功能很简单吧。就是代码模式，执行任务就可以kill掉yarn上的Flink任务。并且能自动生成savapoint 三，我们需要写入的参数是： 1）yarn任务id String appId = "application_1600222031782_0023"; 2）Flink任务的jobId String jobid = "c4d7e2ff6a35d4...

hadoop杀掉yarn任务

赴前尘

11-14

1243

hadoop job -list hadoop job -kill xxx

yarn一键kill掉所有任务命令

最新发布

qq_33265875的博客

07-15

808

【代码】yarn一键kill掉所有任务命令。

YARN批量杀死任务

AnameJL的博客

07-29

2472

yarn批量杀死任务

Yarn运行中的任务如何终止？

欲望以提升热忱毅力以磨平高山

03-09

1万+

前言我们的作业是使用yarn来调度的，那么肯定就需要使用相关的命令来进行管理，简单的有查询任务列表和killed某一个正在运行中的任务。提示：以下是本篇文章正文内容，下面案例可供参考一、Yarn常用命令以下是基于yarn客户端使用命令行的方式进行： yarn application -list 打印任务信息 yarn applicaton -kill applicationId 二、REST API 1. 发送PUT请求 String appId = "applica

通过shell命令 kill掉相关yarn的任务

wppwpp1的专栏

05-26

1823

1，因为经常提交任务，需要吧老任务kill掉，在提交新的任务，所以自己写了一个shell命令，支持yarn的ApplicatinName和ApplicationId任务kill，具体代码如下： #!bin/bash/ #用法 sh kill_application.sh ComputeGpsInOutStation for i in `yarn application -list | grep -w $1 | awk '{print $1}' | grep application_`; do y

YARN运维篇：Yarn运行中的任务如何终止

这个人很懒。

08-22

4638

本文将介绍在YARN集群中如何终止正在运行的任务。通过掌握这些技巧，可以有效管理和优化YARN集群资源，确保任务的及时完成和系统的高效运行。

MapReduce代码编写--WordCount、运行WordCount程序、查看yarn的运行日志、杀死yarn任务...

赤兔胭脂小吕布的博客

02-13

345

导入依赖--Maven仓库的官网(mvnrepository.com)  <dependency> <groupId>org.apache.h...

yarn kill 命令（命令vs脚本）

三妹的博客

10-27

8242

1、直接在服务器上执行命令先在监控平台上查到正在跑的脚本的 application ID，然后执行： yarn application -kill application_1603365899815_0059 2、命令写入 sh 脚本时，脚本格式为： yarn application -list | grep 主文件名 | grep -v grep | awk '{print $1}' | xargs yarn application -kill 3、补充 1）yarn 批量 kill

yarn application -kill 批量kill任务

liuhao_0823的博客

05-29

3093

无需复杂脚本，只需要一个命令，即可通过applicationId批量杀掉yarn任务

批量Kill yarn 任务

我是小坏

12-04

6570

# 删除处于ACCEPTED状态的任务for i in `yarn application -list | grep -w ACCEPTED | awk '{print $1}' | grep application_`; do yarn application -kill $i; done

自动杀死yarn 中运行的程序

不积跬步，无以至千里；不积小流，无以成江海。

09-24

578

shell脚本 #!/bin/bash ## # author 刘云生 ## # 获取所有的application数量 app_nums=`yarn application -list | wc -l ` echo "app_nums: $app_nums" apps=`yarn application -list | awk '{print $1}'|head -$app_nums | tail -n 100` echo "apps: $apps" for app in $apps do

[Yarn基础]-- yarn application -kill jobid

热门推荐

欢迎来到我的博客，一起探索代码里的世界！

07-18

2万+

CDH中kill application的方式： 1、找到yarn命令，如果命令没有可执行权限，那么需要添加#sudo chmod +x bin 2、找到job的id:通过点击cloudrea manager中的主机-----》host27.master---->点击红框 ----》点击进入机器的8088端口url： http://host...

【Yarn】yarn常用命令查看日志和Kill任务

weixin_42804692的博客

10-24

3134

工作中常用到的命令，记录一下将任务运行的日志写入文件方便查看 yarn logs -applicationId applicationxxxxxx > xxxxxx.log 将运行的任务杀掉 yarn application -kill applicationxxxxxx

yarn命令删除job

aijjb22260的专栏

07-23

1521

yarn application -killjobId 转载于:https://www.cnblogs.com/java-meng/p/11230168.html

YARN 删除所有ACCEPTED任务的命令

qq_44820964的博客

08-10

1398

YARN删除所有ACCEPTED任务的命令

假设你是一个大数据平台的开发人员，yarn上经常有很多占用资源很多的HiveSQL，需要你开发一个熔断程序，当Hive SQL产生的临时文件达到一定的阈值时杀死这个任务。请用java实现

05-31

好的，我可以用Java编写一个程序来实现这个熔断功能。首先，我们需要使用YARN的API来获取正在运行的HiveSQL任务的相关信息，包括任务的ID、应用程序ID、临时文件的路径等。可以使用以下代码来获取这些信息： ```java YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); List<ApplicationReport> apps = yarnClient.getApplications(); for (ApplicationReport app : apps) { if (app.getName().equals("HiveSQL")) { // 获取应用程序ID ApplicationId appId = app.getApplicationId(); // 获取任务ID String taskId = appId.toString(); // 获取临时文件路径 List<String> tempFiles = getTempFiles(appId); // 判断临时文件是否超出阈值 if (tempFiles.size() > threshold) { // 杀死任务 killTask(taskId); } } } yarnClient.stop(); ``` 其中，`getTempFiles()`方法用于获取临时文件的路径，可以使用Hadoop的API来实现。`killTask()`方法用于杀死任务，可以使用YARN的API来实现。在实现熔断功能时，我们可以使用线程池来定期检查任务的临时文件是否超出阈值，并且可以设置一个标志来控制程序的运行状态。示例代码如下： ```java public class HiveSQLCircuitBreaker { private static final int THREAD_POOL_SIZE = 1; private static final int CHECK_INTERVAL_SECONDS = 60; private static final int THRESHOLD = 100; private static volatile boolean running = true; public static void main(String[] args) { ExecutorService executor = Executors.newFixedThreadPool(THREAD_POOL_SIZE); executor.submit(() -> { while (running) { try { checkTempFiles(); Thread.sleep(CHECK_INTERVAL_SECONDS * 1000L); } catch (InterruptedException e) { // ignore } } }); // 等待程序退出 Runtime.getRuntime().addShutdownHook(new Thread(() -> { running = false; executor.shutdown(); })); } private static void checkTempFiles() { YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); List<ApplicationReport> apps = yarnClient.getApplications(); for (ApplicationReport app : apps) { if (app.getName().equals("HiveSQL")) { // 获取应用程序ID ApplicationId appId = app.getApplicationId(); // 获取任务ID String taskId = appId.toString(); // 获取临时文件路径 List<String> tempFiles = getTempFiles(appId); // 判断临时文件是否超出阈值 if (tempFiles.size() > THRESHOLD) { // 杀死任务 killTask(taskId); } } } yarnClient.stop(); } } ``` 需要注意的是，在实际使用中，我们可能还需要考虑一些其他的因素，比如任务的优先级、任务的运行时间等。