CrocdileChan的博客

HDFS是一种分布式文件系统，它采用的是master/slave架构对海量文件进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的，NameNode是一个中心服务器，它负责管理集群中的执行调度，而DataNode则是具体任务的执行节点。HDFS以block为基本单位来处理文件，每个DataNode上都存储一个block，block默认大小为64MB，开发者也可以根据需

了解mapreduceV1（旧版本的mapreduce）与mapreduceV2（YARN）的区别我们需要先深入理解一下mapreduceV1的工作机制和设计思想。首先看一下mapreduce V1的运行图解 MapReduce V1的组件及功能分别是： Client：客户端，负责编写mapreduce代码并配置和提交作业。 JobTracker：是整个mapreduce框架的核心，类似于