企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理

最新推荐文章于 2021-08-24 10:28:04 发布
原创 最新推荐文章于 2021-08-24 10:28:04 发布 · 993 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#yarn #mapreduce #ResourceManager #JobHistoryServer #NodeManager

本文介绍了YARN的启动、Web管理界面、运行MapReduce程序的方法，包括ResourceManager和NodeManager的启动，以及如何通过YARN运行MapReduce示例程序如pi和wordcount。此外，还解析了JOB ID的编号规则，并提到了历史服务器的启动和使用，以查看MapReduce作业的历史记录。

YARN的Shell操作与管理

7.1启动YARN

YARN有2个守护线程：ResourceManager、NodeManager。

[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh start resourcemanager

[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh start nodemanager

7.2YARN Web管理界面

YARN管理地址：

ResourceManager： 主机名：8088 。本环境中为：http://hadoop-yarn.dragon.org:8088

NameNodeManager：主机名：8042 。本环境中为：

最低0.47元/天 解锁文章
Hadoop入门—HDFS、MR、Yarn
qq_73181349的博客
04-15 2838
hadoop生态及架构，HDFS存储方式、Yarn资源调度、MR并行计算
Hadoop--Hadoop基准测试(读/写)
weixin_42946624的博客
02-25 678
Hadoop自带了几个基准测试，本文使用的是hadoop-2.6.0 一、Hadoop Test 的测试 [root@master hadoop-2.6.0]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar   An example program must be g...
Hadoop实例学习(十五)YARNshell操作
秘密的博客
08-24 740
目录YARN常用命令yarn application 查看任务列表yarn application 查看任务状态yarn application 强杀任务yarn logs 查看日志查询 Application 日志查询 Container 日志yarn applicationattempt 查看尝试运行的任务列出所有 Application 尝试的列表打印 ApplicationAttemp 状态yarn container 查看容器列出所有 Container打印 Container 状态yarn no
Hadoop集群环境下的 Yarn shell 命令
如果能思维清晰，从上往下，不断深入，就好了~~~
11-28 1177
Yarn  shell 命令 yarn                                                          查看二级命令 yarn version                                              产看版本 yarn jar jarname mainClassPath               用yarn...
虚拟机服务一键启动hbase zookeeper hive yarn hdfs 的shell脚本
zhaozuoyou的博客
11-30 461
#!/bin/bash HB="hbase HMaster HRegionServer start-hbase.sh" ZK="zookeeper QuorumPeerMain zkServer.sh_start" HV="hive RunJar RunJar nohup_hive_--service_?>~/hive2.log_2>&1_&" YN="yarn NodeManager ResourceManager start-yarn.sh" HD="dfs DataNod
搭建yarn方式管理hadoop2.x
wsmlhxwt777的博客
02-13 332
yarn负责集群资源管理，用yarn方式管理mapreducer: 客户端提交jar至resourcemanager,resourcemanager分发jar包，NodeManager中的App Mstr组件负责执行，并向resourcemanger请求资源，App Mstr执行的状态向nodemanager汇报。 nodemanager（负责任务的调度和执行）与datanode在同一台机器上
shell基本操作
panther的专栏
07-28 376
1 切换sehll版本 ： chsh -s /bin/zsh
【资源管理升级】：Hadoop 3.x集群动态管理与YARN Capacity Scheduler优化
[【资源管理升级】：Hadoop 3.x集群动态管理与YARN Capacity Scheduler优化](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20200728154204/Hadoop-Cluster-Schema.png) # 1. Hadoop 3.x集群动态管理概述...
Hadoop DLL与WinUtils可执行文件2.x版本
标题中提到的“hadoop.dll及winutils.exe, 2.x版本”正是解决这一问题的核心组件之一，尤其适用于Hadoop 2.x系列版本在Windows平台上的部署与运行。 首先，“hadoop.dll”是Hadoop在Windows系统下运行所必需的一个...
hadoop-2.7.6.tar.zip
11-30
这些工具涵盖了从数据传输到日志管理的各个方面，如DistCp用于大规模文件复制，Hadoop FsShell提供文件系统操作命令，Hadoop Pipes允许使用C++编写MapReduce作业。 在实际应用中，我们通常会遇到需要将压缩文件解压...
远程启动HADOOP+YARN集群Shell脚本
cqra94148的博客
02-10 992
一、创建启动HADOOP+YARN脚本 1、创建脚本 vi start-hadoop.sh 点击(此处)折叠或打开 #!/bin/bash ...
shell-task:一个shell任务程序
04-29
壳任务 一个shell任务程序 怎么跑？ npm run test 例子 new Task ( 'echo "lets go"' ) . set ( { noInterrupt : false } ) . exec ( 'wrong cmd' ) . sleep ( 'www' ) . exec ( 'echo haha' ) . sleep ( 5000 ) . exec ( 'echo \'it went thru!\'' ) . run ( function ( err , next ) { if ( err && next ) { console . log ( 'test log:' , err ) ; next ( ) ;
hadoop架构分析之启动脚本分析（yarn部分）
OhHusky的博客
08-11 636
一.start-yarn.cmd (1)set HADOOP_BIN_PATH=%~dp0 设置HADOOP_HOME=当前目录(2)set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1% 去掉最后一个’\’符号(3)set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec 设置本地执行目录文件(4)call %HAD
YARN源码剖析：RM启动脚本
派大星的技术人生
01-30 363
文章目录RM启动命令yarn-daemon.sh分析/bin/yarn分析 RM启动命令 $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager yarn-daemon.sh分析 case $startStop in (start) [ -w "$YARN_PID_D...
Hadoop之Shell脚本自动启动
weixin_30784141的博客
03-17 506
　　在用Hadoop进行大数据分析处理时，通常配置的服务器不止一两台。为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。 　　说明：$HADOOP_HOME=/root/project/hadoop（根据自己配置的路径不同而不同） 　　打开 $HADOOP_HOME/etc/hadoop/work...
企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理
云帆大数据
01-02 954
HDFS的Shell操作与管理 6.1 启动HDFS Step01：格式化NameNode [hadoop@hadoop-yarn hadoop-2.2.0]$ bin/hdfsnamenode –format 说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID： bin/hdfsnamenode –format –cluste
【甘道夫】Hadoop2.2.0集群启动和停止Shell脚本
FBI启示录
04-10 797
startupall.sh #!/bin/bash hadoophome="/home/yarn/Hadoop/hadoop-2.2.0/" ssh slave1 "/bin/bash ${hadoophome}sbin/hadoop-daemon.sh start journalnode" ssh slave2 "/bin/bash ${hadoophome}
Hadoop基准测试
u012689336的专栏
09-23 5863
Hadoop自带了几个基准测试，本文使用的是hadoop-2.6.0 一、Hadoop Test 的测试 [root@master hadoop-2.6.0]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar   An example program must be
hadoop-mapreduce-examples Hadoop实例
12-07 1621
[root@master hadoop-3.1.1]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar An example program must be given as the first argument.Valid program names are: aggregatewo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值