超级会员免费看
本文介绍了如何配置Hadoop YARN以运行MapReduce程序。内容包括理解ResourceManager和NodeManager的角色，配置yarn-site.xml和mapred-site.xml，启动ResourceManager和NodeManager，以及通过YARN执行wordcount示例。
之前我们运行hadoop提供的案例是用hdfs运行的.
现在我们来配置一下yarn,我们用yarn,这个资源管理器来运行hadoop的mr程序.
首先我们要知道yarn包含两个主要的部分,当然还有其他的.主要的是
resourcesmanager和nodemanager
resourcesmanager管理所有的nodemanager
NodeManager,会去管理自己节点上的资源,收到老大ResourceManager的命令要执行,另外,还会处理自己节点上
App Mstr的命令.
知道这些基本以后,我们去配置
我们每次配置完集群需要进行,功能测试,以及性能测试.
这次我们要做的,首先是配置集群在yarn上,运行mr程序.
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
