【若泽大数据实战第十天】Hadoop 伪分布式部署(MapReduce+Yarn) -- 时间戳概念

前言：

前面的阶段J哥讲了jps hdfs，接下来，学一学yarn的配置

首先打开官网可以看到一些有关于yarn的配置信息

官网地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html

1.Yarn伪分布式部署

MapReduce + Yarn
Yarn的两个进程:
    ResourceManager （资源管理）
    NodeManager     （节点管理）
拷贝配置文件：
    hadoop]# cp mapred-site.xml.template mapred-site.xml
修改配置文件：
    hadoop]# vi mapred-site.xml
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
配置yarn文件：
    hadoop]# vi yarn-site.xml
        <configuration>
            <!-- Site specific YARN configuration properties -->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

进入hadoop-2.8.1：
    ~]$ cd /opt/software/hadoop-2.8.1
启动yarn服务：
    hadoop]$ sbin/start-yarn.sh

web界面: http://192.168.137.30:8088/

关闭yarn服务：    hadoop]$ sbin/stop-yarn.sh

【若泽大数据课程实战操作】

Yarn网站测试：http://192.168.137.30:8088/cluster

2.MapReduce Job测试

MapReduce: java代码写的，map(映射)函数和reduce(归约)函数
查找jar包：
    hadoop]$ find ./ -name "*example*"
执行pi任务：
    hadoop]$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10

【若泽大数据实战操作】

关于时间戳的查询：

 job命名规范：

 job_1526538190431（时间戳，单位毫秒）_0001（运行job的第一位）

查询网址：http://tool.chinaz.com/Tools/unixtime.aspx  选择毫秒

返回Yarn网站详解：

这里的 applicaitons = job_xxx_001 = App = 应用程序

我对以上每一项分别解读一下意思

application_111111_001 = 应用-作业
user = hadoop （什么用户提交的）
Name = 提交程序的名字-和提交的pi名字不同，这里显示的是包的名字
APPlication Type 应用程序类型 = Mapreduce (以后可能会是 Spark)
Queue = 队列
Start Time = 启动时间
FinishTime = 完成时间
State = 当前程序的状态
FinalSstatus = 最终的状态
Running Containers = 当前跑了几个容器
Allocated CPU Vcores = 当前分配了多少核
Allocated Memory MB = 当前分配内存大小

点击About可以查看当前机器的一些状态

补充1：

./start-all.sh命令，可以同时开启dfs和Yarn

补充2：

面试题会提到这个单词，shuffle (洗牌) 伴随我们成长 ：D

大数据课程推荐：