Hadoop(七) -- Yarn

最新推荐文章于 2022-05-23 21:59:13 发布
原创 最新推荐文章于 2022-05-23 21:59:13 发布 · 879 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #yarn #big data

本文详细介绍了Hadoop YARN的架构，包括ResourceManager和NodeManager的职责，以及YARN的资源调度过程。ResourceManager作为主控节点，负责资源分配、应用程序管理和监控，而NodeManager管理单个节点的资源。YARN采用Container作为资源调度的最小单位。资源调度过程中，MRAppMaster负责申请和跟踪任务资源，确保任务的执行。文章还概述了Job提交的流程，从客户端提交到任务执行的完整步骤。

一、Yarn概述

资源调度器，负责计算程序的资源调度。

Yarn采用主从架构，主节点RecourceManager，从节点NodeManager。

1. ResourceManager

        ResourceManager是基于应用程序对集群资源的需求进行调度的YARN集群主控节点，负责协调和管理整个集群（所有nodemanager的资源），相应用户提交的不同类型应用程序的解析，调度，监控等工作。ResourceManager为每个Application启动一个MRAppMaster，并且MRAppMaster分散在各个NodeManager节点。

        作用：

                1）处理客户端请求

                2）启动并监控MRAppMaster

                3）监控NodeManager

                4）资源的分配和调度

最低0.47元/天 解锁文章
一把辛酸泪-----DataNode假活
qq_55906442的博客
06-02 715
记录一下历时四天的Hadoop改错历程！本人hadoop使用的版本是hadoop-3.1.3的高可用（HA）目录问题描述：发现问题：问题原因：解决：从错节点jps查看进程显示正常，DataNode和NodeManager都存在的，但是运行程序的时候会报奇奇怪怪的错误，下面是会报的错误： ERROR tool.ExportTool: Encountered IOException running export job: java.net.ConnectException: Call From hadoop01
个人总结Hadoop题库3
m0_62254930的博客
06-19 1316
第四章 YARN与MapReduceMapReduce程序只能对key排序 TMapReduce中，OutputFormat主要用于描述输出数据的格式，采用NullWritable可以省略输出的key或value。 TYARN中，任务进度监控是向哪个组件汇报的？ ApplicationMasterMapReduce的Shuffle过程中哪个操作是最后做的？ 合并MapReduce编程模型中以下组件哪个是最后执行的？ Reducer在MapReduc
hadoop查看mapreduce(yarn)运行状态
进行中
03-15 9014
启动hadoop之后，在web浏览器中加/logs/userlogs，就可以看到所有运行的任务，再找到自己想看的那个任务就行 注意这个端口是ResourceManager(yarn)默认的端口号，如果做了修改，这个端口也是要改的 http://192.168.124.140:8088/logs/userlogs 点击进去就能看到所有任务了 选择其中一个任务 其中 stde...
hadoop节点不显示_Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点...
weixin_30356603的博客
12-24 515
19/05/15 11:03:12WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/wc_input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of...
hadoop-yarn+jps+tmp+linux两个机制
nituoge的博客
12-01 291
一.搭建 yarn伪分布式 1、配置参数 [ruoze@rzdata001 ~]$ echo $HADOOP_HOME /home/ruoze/app/hadoop [ruoze@rzdata001 ~]$ cd app/hadoop [ruoze@rzdata001 hadoop]$ cd etc/hadoop [ruoze@rzdata001 hadoop]$ cp mapred-site.x...
Hadoop-YARN-学习日志-20181213
夜雨寒霜
12-14 738
目录 1、YARN的产生背景 2、YARN的架构 3、MRAppMaster介绍 4、YARN的资源调度过程 5、Job的提交过程（有一张图重点） 1、YARN的产生背景 hadoop1.0的模块：hdfs、mapreduce 启动job的时候，对应的进程是 jobtracker 和 tasktracker，是主从结构。 jobtracker:（类似于yarn--resource...
精选资源
hadoop-yarn-client-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-yarn-client-2.6.5.jar； 赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar； 赠送源代码：hadoop-yarn-client-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom；...
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
精选资源
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
hadoop-yarn-server-nodemanager-2.6.0.jar
02-24
java运行依赖jar包
hadoop-yarn-server-resourcemanager-2.7.4.jar
08-06
hadoop2.7.4安装包补丁包，解决yarn定时调度启动问题！！
YARN 作业 Staging目录的用途及配置
MAYIBO—BG的专栏
12-17 5717
目录staging目录的用途MapReduce作业staging的配置示例Spark 作业Staging目录的配置示例 staging目录的用途 关于staging目录可能很多人都不太会关注，毕竟日常运行作业也用不到这些配置。不过了解它对于我们理解作业的执行流程也是有所帮助的，比如我们都会使用hadoop jar 或 spark-submit等命令来提交一个MR或Spark作业，然后我们就会看到在集群的某些计算节点上启动executor(MapRedece对应的是mapper和reducer)来执行任务。这
hadoop上传jar时遇到的问题
qq_45992615的博客
12-23 1389
hadoop分布式搭建遇到的所有问题 上传MapReduce的jar包时 1、Exception in thread “main” org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hadoop-yarn/staging/root/.staging/job_1625723817019_0003/job.jar could only be replicated to 0 nodes instead of minRepli
Hadoop2.x Yarn作业提交（客户端）
海盗的小菜园
03-26 6780
YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考  http://blog.youkuaiyun.com/lihm0_1/article/details/13629375 在1.x中是向JobTracker提交，而在2.x中换成了ResourceManager，客户端的代理对象也有所变动，换成了YarnRunner，但大致流程和1类似，主要的流程集中在JobSubmitter.subm
阿里云部署hadoop集群
铁血军的小博客
05-23 1216
题记： 好记性不如烂笔头。搞一个稳定的hadoop部署方式，给以后的人生省点打游戏的时间。 环境介绍 两台阿里云服务器server1,server2,还有一台华为云服务器。 准备 将两台阿里云服务器器分别记为：master,slave1;将华为云服务器记为slave2。 masterip,masterip_分别表示master的公网ip和内网ip； slave1ip表示slave1的公网ip; slave2ip表示slave2的公网ip; 第一步：服务器间ssh无密码登录 1.1 更改/etc/hosts文
Yarn（三）Yarn三大组件介绍
Running_Tiger的博客
02-09 5881
Yarn（三）Yarn三大组件介绍Yarn三大组件介绍1. ResourceManager ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和内存的使用情况）。RM 只接受 NM 的资源回报信息，对于具体的资源处理则交给 NM 自己处理。 YARN
又双叒叕来更新啦！！Hadoop——基础篇
5akura's Blog
07-09 1083
文章目录Hadoop基础篇大数据概论Hadoop入门Hadoop的组成HDFS架构概述Yarn架构MapReduce架构大数据的技术生态体系开发环境搭建安装jdk安装Hadoop本地模式伪分布式模式启动HDFS并运行MapReduce程序配置集群启动集群启动YARN并运行MapReduce程序配置集群启动集群配置历史服务器日志的聚集配置完全分布式模式（重点！！）准备工作编写集群分发脚本xsync集群配置集群单点启动SSH免密登录免密登录的原理群起集群crond系统定时任务集群时间同步使用chrony搭建nt
Hadoop问题：There are 0 datanode(s) running and no node(s) are excluded in this operation.
weixin_34343000的博客
03-03 679
问题描述： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hadoop-yarn/staging/hadoop/.staging/job_1519998981934_0001/job.jar could only be replicated to 0 nodes instead of minReplica...
大数据学习7：Hadoop Yarn 的调优整理
ggwxk1990的博客
09-03 540
Hadoop Yarn 的调优整理： 对于Yarn的调优，主要从内存和CPU的角度去调整。应从集群所有节点的角度去考虑计算资源，根据Application申请的资源进行分配container（容器）。Container 是Yarn中资源分配的最小单元，包含了一定的内存和CPU资源。 在集群中，调整内存，CPU，磁盘的资源的平衡性很重要，根据经验，每2个Container使用一块磁盘和1个CPU
stu@stu-pc:~$ find / -name "hadoop" -type d 2>/dev/null | grep -i hadoop/home/stu/hadoop/usr/local/hadoop/usr/local/hadoop/etc/hadoop/usr/local/hadoop/share/hadoop/usr/local/hadoop/share/doc/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-nativetask/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-app/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-shuffle/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-hs-plugins/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-uploader/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-common/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-hdfs-httpfs/apidocs/org/apache/hadoop/lib/service/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-auth/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-unmanaged-am-launcher/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-distributedshell/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-api/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-registry/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-client/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-web-proxy/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-applicationhistoryservice/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-timelineservice-hbase/hadoop-yarn-server-timelineservice-hbase-server/hadoop-yarn-server-timelineservice-hbase-server-1/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-timelineservice-hbase/hadoop-yarn-server-timelineservice-hbase-common/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-timelineservice-hbase/hadoop-yarn-server-timelineservice-hbase-client/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-timelineservice/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-router/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-common/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-timeline-pluginstorage/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-sharedcachemanager/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/apidocs/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/api/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/api/org/apache/hadoop/lib/service/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs-client/build/source/hadoop-hdfs-project/hadoop-hdfs-client/target/api/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-common/build/source/hadoop-common-project/hadoop-common/target/api/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs-rbf/build/source/hadoop-hdfs-project/hadoop-hdfs-rbf/target/api/org/apache/hadoop/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/build/source/hadoop-hdfs-project/hadoop-hdfs/target/api/org/apache/hadoop/usr/local/hive/lib/php/packages/serde/org/apache/hadoop/usr/local/hive/apache-hive-3.1.2-bin/lib/php/packages/serde/org/apache/hadoop/tmp/hadoop/tmp/hadoop-unjar8342885896351558271/org/apache/hadoop/tmp/hadoop-unjar6484726597599168525/org/apache/hadoopstu@stu-pc:~$ ls /usr/local/hadoopbin data etc include lib libexec LICENSE.txt logs NOTICE.txt README.txt sbin share tmpstu@stu-pc:~$ ls /opt/hadoopls: 无法访问'/opt/hadoop': 没有那个文件或目录stu@stu-pc:~$
最新发布
12-09
# 问题分析与解决方案 ## 当前环境状态分析 ### Hadoop安装路径确认 通过`find`命令发现存在两个相关路径： - `/home/stu/hadoop`：可能是用户个人配置目录 - `/usr/local/hadoop`：真正的Hadoop安装目录（包含bin、sbin、etc等标准结构） ### 目录结构验证 ```bash ls /usr/local/hadoop # 输出显示完整Hadoop安装结构： # bin, etc, lib, sbin, share, tmp 等目录齐全 ``` ### 关键发现 1. `$HADOOP_HOME` 应该指向 `/usr/local/hadoop` 2. `/usr/local/hadoop/tmp` 已存在，但可能权限有问题 3. 配置文件位于 `/usr/local/hadoop/etc/hadoop/` ## 完整修复步骤 ### 第一步：正确设置环境变量 ```bash # 设置HADOOP_HOME export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH # 永久保存配置 echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> ~/.bashrc source ~/.bashrc ``` ### 第二步：检查并修复tmp目录权限 ```bash # 检查当前tmp目录权限 ls -ld /usr/local/hadoop/tmp # 如果权限不足或属主错误，进行修复 sudo chown -R stu:stu /usr/local/hadoop/tmp sudo chmod 755 /usr/local/hadoop/tmp # 确保MapReduce所需子目录存在 mkdir -p /usr/local/hadoop/tmp/mapred/{staging,local,system} ``` ### 第三步：配置core-site.xml 编辑 `/usr/local/hadoop/etc/hadoop/core-site.xml` 文件： ```xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> ``` ### 第四步：验证配置有效性 ```bash # 测试Hadoop是否能正常访问本地文件系统 hadoop fs -mkdir /test_dir hadoop fs -ls / # 清理测试文件 hadoop fs -rm -r /test_dir ``` ### 第五步：启动Hive测试 ```bash # 启动Hive并执行简单查询 hive -e "show databases;" ``` ## 根本原因总结 1. **环境变量未正确设置**：`$HADOOP_HOME` 为空导致无法定位配置文件 2. **临时目录权限问题**：虽然 `/usr/local/hadoop/tmp` 存在，但可能因之前操作导致权限异常 3. **配置指向不一致**：可能存在多个hadoop目录造成混淆 ## 最终建议 1. 统一使用 `/usr/local/hadoop` 作为主安装目录 2. 删除冗余的 `/home/stu/hadoop` 或将其作为软链接： ```bash rm -rf /home/stu/hadoop ln -s /usr/local/hadoop /home/stu/hadoop ``` 3. 确保所有服务都基于正确的 `$HADOOP_HOME` 运行 ## 知识点 **Hadoop本地文件系统权限管理** Hadoop需对本地目录有读写权限，否则会抛出NativeIOException。 **Hadoop临时目录结构** `hadoop.tmp.dir`定义的基础路径下需包含mapred、dfs等子目录供组件使用。 **Hive on MapReduce执行流程** Hive将查询转化为MapReduce作业，需完成资源上传、目录创建等准备步骤。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值