yarn划分队列示例

修改Yarn服务的配置,修改Capacity Scheduler配置项如下:

修改部分:
yarn.scheduler.capacity.root.default.capacity=60
yarn.scheduler.capacity.root.default.maximum-capacity=60
yarn.scheduler.capacity.root.queues=default,dev

新增部分:
yarn.scheduler.capacity.root.dev.capacity=40
yarn.scheduler.capacity.root.dev.maximum-capacity=40
yarn.scheduler.capacity.root.dev.state=RUNNING
yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev
yarn.scheduler.capacity.queue-mappings-override.enable=true
yarn.scheduler.capacity.root.dev.acl_administer_jobs=
yarn.scheduler.capacity.root.dev.acl_submit_applications=

转载于:https://blog.51cto.com/yntmdr/2049794

以下是关于 EDP、YARN 和 QueueManager 的相关信息: ### EDP EDP 通常指的是数据处理平台(Enterprise Data Platform)相关的概念,不同公司可能有不同的具体定义。一般而言,它是用于企业级数据存储、处理和分析的集成化平台。在一些大数据生态中,EDP 可能会提供数据集成、数据治理、数据仓库等功能,帮助企业更好地管理和利用数据资产。例如,它可以整合来自不同数据源的数据,进行清洗、转换和加载(ETL)操作,以支持企业的业务决策和数据分析需求。 ### YARN YARN(Yet Another Resource Negotiator)是 Apache Hadoop 的集群资源管理系统。其主要功能是将资源管理和作业调度分离,从而提高集群资源的利用率和可扩展性。YARN 由两个主要组件构成:ResourceManager 和 NodeManager。ResourceManager 作为全局的资源管理器,负责整个集群的资源分配和调度;NodeManager 则运行在每个计算节点上,负责管理该节点上的资源使用情况,并向 ResourceManager 汇报节点的状态。YARN 支持多种计算框架,如 MapReduce、Spark、Tez 等,使得不同的计算任务可以共享同一个集群资源,实现了资源的高效利用。 以下是一个简单的 YARN 应用程序提交示例(使用 Java): ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.yarn.api.records.ApplicationId; import org.apache.hadoop.yarn.client.api.YarnClient; import org.apache.hadoop.yarn.conf.YarnConfiguration; public class YarnAppSubmitter { public static void main(String[] args) throws Exception { Configuration conf = new YarnConfiguration(); YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(conf); yarnClient.start(); // 这里可以添加更多的逻辑来提交具体的应用程序 ApplicationId appId = yarnClient.getNewApplication().getApplicationId(); System.out.println("New application ID: " + appId); yarnClient.stop(); } } ``` ### QueueManager QueueManager 在 YARN 中扮演着重要的角色。它负责管理资源队列,将集群的资源划分为不同的队列,每个队列可以有不同的资源分配策略和优先级。通过 QueueManager,管理员可以根据不同用户或用户组的需求,灵活地分配资源,确保重要的任务能够优先得到执行。例如,可以设置一个高优先级的队列用于实时数据分析任务,而将低优先级的队列用于批量数据处理任务。 ### 总结 EDP、YARN 和 QueueManager 在大数据生态中都有着重要的作用。EDP 侧重于企业级数据平台的构建和管理,YARN 负责集群资源的管理和调度,而 QueueManager 则进一步细化了 YARN 中的资源分配策略。它们相互协作,共同支持企业的大数据处理和分析工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值