张俊杰 的博客

在hadoop-2.7.2/etc/hadoop 目录下 执行下面两个命令启动resourcemanager和 nodemanager进入目录:cd $HADOOP_HOME/etc/hadoop/启动 ResourceManager:yarn-daemon.sh start resourcemanager启动 NodeManager :yarn-daemon.sh start nodemanager查看是否启动成功jps看到有ResourceManager和NodeManager

目前，Hadoop作业调度器主要有三种：FIFO Scheduler、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。一般大公司可能会用公平调度器,中小公司用容量调度器就够了.Hadoop最初设计目的是支持大数据批处理作业，如日志挖掘、Web索引等作业，为此，Hadoop仅提供了一个非常简单的调度机制：FIFO，即先来先服务，在该调度机制下，所有作业被统一提交到一个队列中，Hadoop按照提交顺序依次运行

运行WC任务的流程0.MapReduce程序运行代码1.MapReduce向Yarn申请ResourceManager,2.如果申请成功就会生成一个applicationId,ResourceManager是允许HDFS的temp 目录下面生成一个路径,这个路径名字是以你当前任务的applicationId命名的,这个目录也可以叫作业目录.目录生成之后就把一些Job的一些资源文件放到目录下面.3.在准备阶段,Job会生成切片文件(job.split),切片文件的属性文件(job.xml),当前jo.