初探Hadoop 2.x

一、Hadoop 2.x

* common

* HDFS

存储数据

NameNode

* 存储文件系统的元数据，命名空间namespace

DataNode

* 存储数据

SecondaryNameNode

* 辅助NAmeNode工作，合并两个文件（定时周期性）

* YRAN

Hadoop 操作系统

Data 操作系统

Container

ResouceManager

* 整个集群资源的管理和调度

NodeManager
* 管理每个节点的资源与调度

* MapReduce

分而治之

* map

“分”，

* reduce
“合并”


input  ->   map ->  shuffle   ->reduce -> output
* 分布式并行的计算框架
运行模式：
* 本地模式
* yarn模式


二、问题
* 格式化
* core-site.xml
* 主机名与IP地址的映射
* NameNode启动出错
* 日志信息
* more：翻页查看
* tail：文件的末尾


Log Aggregation(日志的聚集)
聚集
应用运行完成以后，将日志信息上传到HDFS系统上，

三、配置文件
配置文件
* 默认配置文件：相对应的JAR中
* core-default.xml
* hdfs-default.xml
* yarn-default.xml
* mapred-default.xml


* 自定义配置文件$HADOOP_HOME/etc/hadoop/
* core-site.xml
* hdfs-site.xml
* yarn-site.xml
* mapred-site.xml


四、启动方式

* 各个服务组件逐一启动
* hdfs
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
* yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
* mapreduce
mr-historyserver-daemon.sh start|stop historyserver
* 各个模块分开启动
* hdfs
start-dfs.sh
stop-dfs.sh
* yarn
start-yarn.sh
stop-yarn.sh
* 全部启动
* start-all.sh
* stop-all.sh


==========================================================
HDFS
NameNode
core-site.xml
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop-senior.ibeifeng.com:8020</value>
   </property>
DataNodes
slaves
hadoop-senior.ibeifeng.com
SecondaryNameNode
hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-senior.ibeifeng.com:50090</value>
</property>
YARN
ResourceManager
yarn-site.xml
           <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop-senior.ibeifeng.com</value>
   </property>
NodeManagers
slaves
hadoop-senior.ibeifeng.com
MapReduce HistoryServer
mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior.ibeifeng.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior.ibeifeng.com:19888</value>
</property>