zhan8610189的专栏

近段时间，怀着一个好奇的心态去学习一下yarn，并且简单地看了一下源代码。我直接从hadoop-common的trunk中下载源码并且编译运行，这样与社区比较同步。如果你对maven 比较了解的话，编译起来都很简单的。 1. Service在hadoop 3.0-snapshot的源码里面分析出，它把系统里面每一个功能都抽象成服务。一个服务都有一个状态机，里面包含四种状态：未初始化（n...

1. 引言hadoop 0.23系列后，就对Map/Reduce进行了完全重写，把原有的MR计算框架替代成了新一代Yarn计算框架－ Yarn。Yarn有一点类似于Mesos（它们之间的对比请看如下链接How does YARN compare to Mesos?），运行在hdfs之上，用JAVA写的计算资源管理框架。而Map/Reduce被看成是一个成熟的应用框架运行在Yarn计算框架之...

1. Yarn应用兼容Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架，在它上面可以跑多类应用，不仅能够跑经典MR计算，还能在该框架上实现实时计算，交互式计算，流式计算等等。正因为这样，Yarn得到了前所未有的关注，发展速度也比MRv1快。MRv1耗时有8年才使其稳定，而Yarn才发展了2年，就已经被许多公司采用。 既然Hadoop能在Yarn上实现多类应用框架...

1. Tez简介Tez是基于Hadoop Yarn之上的DAG（有向无环图，Directed Acyclic Graph）计算框架。它把Ｍap/Reduce过程拆分成若干个子过程，同时可以把多个Ｍap/Reduce任务组合成一个较大的DAG任务，减少了Ｍap/Reduce之间的文件存储。同时合理组合其子过程，也可以减少任务的运行时间。2. DAG计算模型Map/Reduce不能解决...