zhixingheyi_tian的博客

监测 container 资源使用的进程，默认是 3秒 检测一次。

<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>

Yarn UI with running Spark

minimum-allocation为了易于管理资源和调度资源，Hadoop YARN内置了资源规整化算法，它规定了最小可申请资源量、最大可申请资源量和资源规整化因子，如果应用程序申请的资源量小于最小可申请资源量，则YARN会将其大小改为最小可申请量，也就是说，应用程序获得资源不会小于自己申请的资源，但也不一定相等；如果应用程序申请的资源量大于最大可申请资源量，则会抛出异常，无法申请成功；规整化...

deploy modesThere are two deploy modes that can be used to launch Spark applications on YARN. In cluster mode, the Spark driver runs inside an application master process which is managed by YARN on t...