YARN上运行MapReduce程序

最新推荐文章于 2022-04-05 14:12:01 发布
转载 最新推荐文章于 2022-04-05 14:12:01 发布 · 431 阅读 · 0
文章标签：

#伪分布式hadoop搭建 #YARN上运行mapReduce

本文详细介绍了在YARN集群上配置并运行MapReduce程序的全过程，包括集群配置、启动步骤、操作指南及具体执行命令。通过具体实例，帮助读者掌握YARN环境下MapReduce任务的管理和执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

YARN上运行MapReduce程序

主机名：hadoop101

执行步骤

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/usr/java/default（java的 安装路径）

（b）配置yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop101
（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.7.0_79

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

cp mapred-site.xml.template mapred-site.xml（复制）

mapreduce.framework.name yarn

（2）启动集群

（a）启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster
在这里插入图片描述

（b）删除文件系统上的output文件

bin/hdfs dfs -rm -R /user/hadoop/mapreduce/wordcount/output

（c）执行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /test.txt /output

（d）查看运行结果

bin/hdfs dfs -cat /output/*

MapReduce On yarn运行过程详解
weixin_37886463的博客
03-15 1893
老的MapReduce主要包括Job Tracker和Task Tracker，YARN中主要是三个组件：Resource Manager、Node Manager和Application Master。Resource Manager负责全局资源分配，Application Master每个节点一个，负责当前节点的调度和协调。Node Manager是每台机器的代理，监控应用程序的资源使用情况，...
启动YARN并运行MapReduce程序
Beans___Lee的博客
03-29 1484
YARN是主要负责资源调度。之前已经搭建好了Hadoop集群，接下来在集群上启动YARN。 1. 配置YARN并启动 1. 配置集群 1.1 配置yarn-env.sh文件 export JAVA_HOME=你的jkd安装路径 1.2 配置yarn-site.xml文件 <!-- 指定Reduce获取数据的方式--> <property> &...
yarn运行mapreduce的工作机制
wu_cai的专栏
09-09 1079
yarn的基本概念 yarn并不清楚用户提交的程序的运行机制 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源） yarn中的主管角色叫ResourceManager yarn中具体提供运算资源的角色叫NodeManager 这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如m
YARN 上运行 MapReduce 程序
Da.的博客
05-05 373
（1） 准备 1 台客户机 （2） 安装 jdk （3） 配置环境变量 （4） 安装 hadoop （5） 配置环境变量 （6） 配置集群 yarn 上运行 配置 yarn-env.sh： 去下面的目录/opt/module/hadoop-2.7.2/etc/hadoopvim yarn-env.sh #加入javahome export JAVA_HOME=/opt/module/
MapReduce运行到YARN的过程详解
liumeifang
06-15 1092
MapReduce运行到YARN的过程详解 1、客户端client向YARN主节点ResourceManager提交作业job 比如统计4G文件中每个单词出现的次数统计结果 在hadoop环境下提交作业的语句：bin/yarn jar XXX.jar MainClass args 2、主节点ResourceManager在某个DataNode从节点上启动一个Container运行appli...
Mapreduce执行过程分析(基于Hadoop2.4)——(一)
weixin_30420305的博客
07-10 356
1 概述 该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。 2 为什么要使用MapReduce Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不太适合了...
大数据平台构建：YARN中运行Mapreduce程序.pptx
06-21
【大数据平台构建：YARN中运行Mapreduce程序】 在大数据处理领域，Apache Hadoop的YARN（Yet Another Resource Negotiator）是一种重要的资源管理和调度系统，它使得不同的计算框架如MapReduce能够高效地运行在...
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
05-29
- `yarn.app.mapreduce.am.resource.mb`: 作业应用程序管理器（AM）的内存需求。 - `yarn.app.mapreduce.am.command-opts`: AM的Java选项，例如JVM堆大小。 - `mapreduce.map.memory.mb` 和 `mapreduce.reduce....
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
01-07
总之，要在Windows下的Eclipse环境中成功运行MapReduce程序，关键在于正确配置Hadoop环境，导入所有必要的jar包，并理解如何设置和提交MapReduce作业。这个过程可能需要一些时间和实践，但一旦配置完成，将为高效...
Yarn上运行MapReduce实战：配置与机制解析
在配置Yarn时，我们需要在`mapred-site.xml`中设置`mapreduce.framework.name`为`yarn`，使MapReduce程序能在Yarn集群上运行。同时，`yarn-site.xml`中需要配置ResourceManager的主机名、NodeManager的辅助服务（如...
MR-3.Hadoop使用YARN运行MapReduce工作原理
艾文
01-29 3104
运行一个MapReduce的作业，可以调用job对象的submit()方法（一般调用job的的waitForCompletion），主要是提交一个job。 整个作业的提交过程，涉及5个重要的实体对象： （1）          Client，提交MapReduce作业 （2）          YARN resource manager：协调整个集群计算资源 （3）          YA
hadoop YARN部署并运行MapReduce测试程序
sz_lili的博客
07-07 355
前记： yarn:资源和作业的调度,需部署 MapReduce:hadoop计算引擎， 是java开发的jar包，代码复杂，企业不用，一般用hive sql 不需要部署，运行在Yarn上 yarn部署参数配置： 1.修改mapred-site.xml文件 [hadoop@Hadoop001 hadoop]$ cp mapred-site.xml.template mapred-site.xml [...
YARN部署并运行MapReduce任务
大门的博客
07-06 556
MapReduce: 计算, 是java开发的jar包，代码复杂，企业不用，一般用hive sql 是不需要部署的，运行在Yarn上 Yarn: 资源和作业的调度，是需要部署的 官网：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_a_Single_N...
MapReduce在YARN上的运行流程
wusdsf的博客
07-28 3625
客户端提交mr程序job的流程 mr程序在yarn上的运行流程
MapReduce on Yarn（包含MapReduce执行详细流程）
CLAY157的博客
04-05 3220
1. MapReduce 1.1 MapReduce任务在Yarn中执行流程 MapReduce作为一种分布式计算框架，它在Yarn中执行的流程为： （1）客户端提交job； 细节： ① org.apache.hadoop.mapreduce.Job类配置job； ② mapred-site.xml中mapreduce.framework.name配置为yarn时，yarn协议会激活； ③ job.waitForCompletion(true)：将job提交到Yarn集群，并等待执行完成； ④ 客户端代
MapReduce 运行Yarn上详解
qq_35315363的博客
07-02 233
MapReduce 运行Yarn上详解 1）Client向Yarn主节点RM提交应用 bin/yarn jar MainClass args （2）RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者 （3）AppMaster向RM请求资源，为了运行MapReduce中所有的Task，RM将分配NM是哪个资源，并且告知AppMaster （4）Ap...
hadoop里面的MapReduce和yarn的运行原理
码农菜鸟的博客
08-02 2461
hadoop 1.xx与hadoop2.xx的区别特别大。特别是HDFS和mapreduce都有了很大的改变。hadoop2.xx具有高容错，有效的减少了由于单点故障所产生的影响，并且可用性和速度都有很大的提升。 hadoop2.xx的主要变更： 1）、HDFS的NameNode 可以以集群的方式进行部署，这就是高可用集群，即HA-hadoop集群。 2）、MapReduce里面的JobTra
MapReduce on Yarn执行过程
一蓑烟雨
12-04 286
   Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。  Yarn的架构如下图所示：     从Yarn的架构图来看，他主要由ResourceManager、NodeManager、ApplicationMaster和Container等一下几个组件构成。  1）ResourceManager   &nbs
Yarn运行MapReduce的具体过程
feizuiku0116的博客
01-06 637
Yarn运行MapReduce的具体过程 客户端client向YARN主节点ResourceManager提交作业job 主节点ResourceManager在某个DataNode从节点上启动一个Container运行applicationMaster(运行应用的管理者) applicationMaster向ResourceManager请求资源，为了运行MapReduce中所有的任务; ResourceManager将分配nodeManager上的资源，并告知applicationMaste申
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值