yarn架构调优，数据本地化

原创

于 2018-11-07 14:25:54 发布 · 867 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了YARN的使用场景和优势，重点探讨了Container的资源调优，包括内存和CPU的分配策略，以及数据本地化的意义。同时，解析了YARN的三种调度器FIFO、Capacity和Fair的特性，强调了公平调度在生产环境中的应用。

在/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin路径下
，执行jar包。

yarn jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /ruozedata /output5
yarn jar也等同于hadoop jar

yarn 和mapred其实功能相似，之所以用yarn是因为yarn 不光光运行MR ，还有Hive 和Spark，可统一使用。

mapred job -list
           -kill job-id

yarn application -kill <Application ID>          Kills the application.
		          -list

详情可看http://blog.itpub.net/30089851/viewspace-2127851/

何为container？

Container：容器 Yarn的资源的抽象，
封装了某个节点的多维度资源,如内存 cpu，磁盘，网络
当AM向RM申请资源时，RM为AM返回的资源就是使用container来标识
在这里插入图片描述

资源分配

最低0.47元/天解锁文章

新学期VIP享超值加赠