yarn架构调优,数据本地化

本文介绍了YARN的使用场景和优势,重点探讨了Container的资源调优,包括内存和CPU的分配策略,以及数据本地化的意义。同时,解析了YARN的三种调度器FIFO、Capacity和Fair的特性,强调了公平调度在生产环境中的应用。

yarn的指令

/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin路径下
,执行jar包。

yarn jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /ruozedata /output5
yarn jar也等同于hadoop jar

yarn 和mapred其实功能相似,之所以用yarn是因为yarn 不光光运行MR ,还有Hive 和Spark,可统一使用。

mapred job -list
           -kill job-id

yarn application -kill <Application ID>          Kills the application.
		          -list    

container调优

详情可看http://blog.itpub.net/30089851/viewspace-2127851/

何为container

Container:容器 Yarn的资源的抽象,
封装了某个节点的多维度资源,如内存 cpu,磁盘,网络
当AM向RM申请资源时,RM为AM返回的资源就是使用container来标识
在这里插入图片描述在这里插入图片描述

资源分配

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值