map-reduce使用yarn的配置

最新推荐文章于 2024-03-17 14:35:51 发布

原创最新推荐文章于 2024-03-17 14:35:51 发布 · 176 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #mapreduce yarn

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Hadoop MapReduce的配置过程，包括map-redsite.xml、yarn-site.xml文件的具体参数设置，以及所需引用的Jar包修改方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要进行三个地方的配置
1 map-redsite.xml

mapred.job.tracker
HMASTER:9001

mapred.local.dir
/opt/hadoop/var/mapred

mapreduce.framework.name
Yarn

2 yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

The address of the applications manager interface in the RM.
yarn.resourcemanager.address
192.168.18.228:8032

The address of the scheduler interface.
yarn.resourcemanager.scheduler.address
192.168.18.228:8030

The address of the RM web application.
yarn.resourcemanager.webapp.address
192.168.18.228:8088

The address of the resource tracker interface.
yarn.resourcemanager.resource-tracker.address
192.168.18.228:8025

3 引用的Jar 包
hadoop-mapreduce-client-common-2.5.1.jar
修改其中的\META-INF\services\org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider
内容为：
org.apache.hadoop.mapred.YarnClientProtocolProvider