Hadoop生态圈（三十五）- YARN常用命令操作详解

最新推荐文章于 2023-07-20 08:22:45 发布
转载 最新推荐文章于 2023-07-20 08:22:45 发布 · 545 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/weixin_44758876/article/details/122872995
文章标签：

#hadoop #大数据 #分布式

本文介绍了YARN系统中管理应用和节点的一些关键命令，包括查看SUBMITTED、ACCEPTED、RUNNING状态的应用，列出MAPREDUCE类型应用，移动应用到不同队列，获取应用日志，以及查看和详细信息所有从节点和运行中的节点状态。

查看所有的Application
仅显示状态为 SUBMITTED、ACCEPTED、RUNNING 应用

yarn application -list

查看类型为MAPREDUCE的Application列表

yarn application -list -appTypes MAPREDUCE

移动一个Application到default队列

yarn application -movetoqueue application_1573364048641_0004 -queue default

查看应用程序所有的logs

yarn logs -applicationId application_1614179148030_0001

-查看yarn所有从节点

yarn node -list -all

查看yarn所有节点的详情

yarn node -list -showDetails

查看yarn所有正在运行的节点

yarn node -list -states RUNNING

查看yarn某一个节点的报告

yarn node -status hadoop1:45046

原文链接：
YARN常用命令操作详解

【yarn】yarn Application 状态机正常执行流程
九师兄
05-23 383
在上一篇文章中，我们知道服务器接收到客户端提交的任务之后，会启动多个状态机进行联合操作，最终来解决任务提交之后的全流程。多个状态机合作完成任务。现在我们要看Application状态机的执行流程，但是状态机执行流程复杂，这里我们只看正常执行流程。可以看到正常执行会有7个状态机的转换。
yarn application -kill杀死yarn上任务
zhengzaifeidelushang的博客
11-25 4035
yarn application -kill杀死yarn上任务 yarn application -kill application_1628735904594_4607155
Yarn 详解
weixin_44591209的博客
03-13 868
Yarn（Yet Another Resource Negotiator 另一种资源协商者）它作为 Hadoop的一个组件，负责整个集群资源的管理和调度。 在Hadoop2.0的第一个版本2.0.0-alpha，Yarn 作为一个正式组件加入。 在hadoop 1.x时，JobTracker存在单点故障、节点压力大不容易扩展、不能够支持多种计算框架。Yarn...
flink部署模式（二）- yarn三种部署模式
weixin_38251332的博客
06-20 1632
基于flink1.15.0开启flink yarn-session集群 提交任务进入客户端交互界面强制杀掉任务NOTE： 启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群 查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per
Hadoop、Yarn相关命令简介
象在舞的技术专栏
08-05 984
HDFS、MapReduce和Yarn并称为Hadoop的核心三大组件，本文着重介绍Hadoop以及Yarn在命令行操作时的相关命令，文中如有不妥之处，欢迎大家及时提出~ 一、Hadoop相关基础命令 1、查看Hadoop中的job信息 hadoop job -list 这里会显示一些job id 状态等信息。 2、杀死某个job hadoop job -kil...
hadoop yarn查看任务状态
m0_67401660的博客
04-03 2720
https://blog.youkuaiyun.com/u010003835/article/details/83347589
02-大象和它的家人们-Hadoop生态圈详解
软通大学企业博客
12-13 799
Hadoop生态圈及其组件介绍 本章目标 Hadoop生态圈组件 1.Hadoop生态圈组件 我们在前面已经概要介绍了Hadoop生态圈，我们本节将就Hadoop生态圈的各种组件进行详细介绍，包括各个组件的构成，其他特点，我们将学习包括HDFS及HDFS的组件，MapReduce，YARN，Hive，Apache Pig，Apache HBase及HBase组件，HCatalog，Avro，T...
(三)大数据生态圈集群搭建之 --Yarn组件搭建 & Yarn监控页面操作
七宝.博客
12-17 1735
Yarn搭建Yarn资源调度流程集群规划Yarn搭建步骤 Yarn资源调度流程 想了解Yarn资源调度流程, 可点击此处查看 集群规划 角色 node01 node02 node03 node04 ResourceManager √(主) √(备) NodeManager √ √ √ Yarn搭建步骤   由于在Hadoop2.x版本中自带Yarn组件, 因此Yarn...
hadoop生态圈面试精华之Hadoop基础
m0_46914845的博客
08-17 1505
hadoop生态圈面试精华之Hadoop基础
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 1175
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
大数据时代下的Hadoop生态圈详解
"胡艺友，上海音智达信息技术有限公司的大数据专家，分享了关于Hadoop生态圈的总体介绍。他拥有丰富的项目经验，涉及电子商务、供应链等多个业务领域，并精通多种数据分析工具。Hadoop作为大数据时代的代表，是第三...
YARN 集群的 Node 节点状态 Unhealthy
liketoochao的博客
07-20 1007
Kerberos 相关操作用户登录： kinit -kt /root/keytab/user.keytab user。
yarn application -kill application_id yarn kill 超时任务脚本
weixin_30617797的博客
09-14 1426
yarn application -kill application_id yarn kill 超时任务脚本 需求：kill 掉yarn上超时的任务，实现不同队列不同超时时间的kill机制，并带有任务名的白名单功能 此为python脚本，可配置crontab使用 # _*_ coding=utf-8 _*_ # !/usr/bin/pyth...
YARN 集群的 Node 节点都处在 Unhealthy 状态
赵英超的博客
08-19 1109
yarn 异常处理
hadoop2.7.7 yarn application -kill application_id
qq 117791303
09-03 466
hadoop2.7.7 yarn application -kill application_id
Yarn application has already ended! It might have been killed or unable to launch application master
微电子学与固体电子学-俞驰
05-01 2913
启动命令: spark-shell --master yarn --driver-memory 4g --executor-memory 4g --num-executors 6 --executor-cores 4 完整报错如下: Setting default log level to "WARN". To adjust logging level use sc.setLogLev...
基于yarn执行spark程序(client模式)报错如下:Yarn application has already ended! It might have been killed or unabl
qq_44160357的博客
02-12 922
在yarn上执行spark程序, 是client模式, 然后冒出了以下错误: 20/02/12 16:08:04 ERROR spark.SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have ...
日常问题系列——yarn web ui提供kill application功能；登录用户为dr.who，无法查看application运行情况
njuptcyd的博客
05-10 4412
问题一、yarn web ui界面没有办法查看application具体运行情况 Yarn Web UI界面效果如下： 点击一个running 状态的application，会显示如下信息： You (User dr.who) are not authorized to view application application_1557385812521_0002 原因及解决方法 dr.who...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值