snowleafzf的博客

part1.slsl测试时的语句echo "!!!!!!!into autoSubmitJobs.sh"dir=/usr/local/hadoop/share/hadoop/tools/slsrm -rf $dir/my-logsmkdir $dir/my-logsrm -rf /usr/local/hadoop/share/hadoop/tools/sls/yumh-err.t...

Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。hadoop原理理解参考：https://blog.youkuaiyun.com/wjlwangluo/article/details/76423147yarn scheduler load simul...

部分基础以及yarn sls：https://mp.youkuaiyun.com/postedit/83991164yarn应用可以在运行中的任意时刻提出资源申请。1.在最开始提出所有请求（spark）；2.为了满足不断变化的应用需要采取根伟动态的方式在需要更多资源时提出请求。yarn应用的生命周期：1.一个用户作业对应一个应用（MapReduce）2.作业的每个工作流或每个用户对话对应一个应...