z7one

Spark支持3种集群管理器（Cluster Manager） 分别为： Standalone：独立模式，Spark 原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用 Standalone 可以很方便地搭建一个集群； Hadoop YARN：统一的资源管理机制，在上面可以运行多套计算框架，如 MR、Storm等。根据 Driver 在集群中的位置不同，分为 yarn client 和 yarn cluster； Apache Mesos：一个强大的分布

一、Yarn架构 Yarn架构设计也是主从架构，分为Resource Manager（RM）和Node Manager（NM），其中RM主要负责应用管理和资源调度，NM主要负责容器和作业。 1、Yarn架构介绍 ResourceManager（RM）： 　　负责对各个Node Manager(NM)上的资源进行统一管理和调度，将ApplicationMaster(AM)分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成：调.

主要组件介绍： Yarn是个资源管理，任务调度的框架，主要包括三大模块：ResouceManager，NodeManager，ApplicationMaster ResouceManager：资源管理器，整个集群资源的协调者，调度者，管理者 NodeManager：NM是每个节点上的资源和任务管理器。它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；同时会接收并处理来自AM的Container 启动/停止等请求。 Applicat...

需求：kill 掉yarn上超时的任务，实现不同队列不同超时时间的kill机制，并带有任务名的白名单功能 此为python脚本，可配置crontab使用 # _*_ coding=utf-8 _*_ # !/usr/bin/python import re import commands import time run_app_arr = [] timeout_app_arr = [] ONE_HOURE = 1 THREE_HOURE = 3 TEST_QUEUE_NAME = ['hue', '