Hadoop基础

1、常用组件

HDFS：分布式文件系统
MapReduce：分布式计算框架
Yarn：集群资源管理系统
-------- 以上是三者是Hadoop核心组件 --------
Zookeeper：分布式协作服务
Hbase：分布式列存储数据库
Hive：数据仓库
Sqoop：数据同步工具
Pig：基于hadoop的数据流系统
Mahout：数据挖掘算法库
Flume：日志收集工具

2、HDFS角色概念

`client：切分文件，每块128M，可以有多个副本，访问HDFS，与namenode交互获取获取文件信息，与datanode交互读取和写入数据。
`namenode：记录块的位置信息，配置副本策略，处理client请求。（要做高可用）
`secondarynamenode：是namenode的备份（非热备），定期合并fsimage（块和位置信息的映射）以及fsedits（补丁文件，为了修改数据变更日志）。（要做高可用）
`datanode：存储实际数据，把数据位置信息发送给namenode

namenode、secondarynamenode、datanode之间关系如下：

3、MapReduce角色概念

`JobTracker：相当于master节点（只有一个），管理所有任务、监控、错误处理。将任务分解成一系列的小任务，把小任务分配给TaskTracker。
`TaskTracker：相当于slave节点（可以有多个），运行Map Task和Reduce Task与JobTracker交互，汇报任务状态。
`Map Task：解析数据，将数据传递给用户编写的map程序去执行，将结果写入到本地磁盘，若是map-only作业，则直接将结果写入到HDFS中。
`Reduce Task：从Map Task的结果中读取数据，对数据进行排序，将数据按照分组传递给用户编写的reduce程序去执行。

JobTracker、TaskTracker、Map Task、Reduce Task之间关系如下：

4、Yarn角色概念

`ResourceManager：处理客户端请求，启动、监控ApplicationMaster、监控NodeManager，分配和调度资源。（要做高可用）
`NodeManager：单个节点上的资源管理，处理来自ResourceManager和ApplicationMaster的命令，执行运算。
`ApplicationMaster：进行数据切分，为应用程序申请资源并分配给内部任务，监控任务，容错。
`Container：任务运行环境的抽象，封装了CPU、内存等一系列资源。用于资源的分配和调度。

5、单机Hadoop安装与配置

yum -y install java-1.8.0-openjdk-devel		# 提供jsp角色查看工具，自动安装openjdk
tar -xf hadoop-2.7.7.tar.gz		# 这里使用的是2.7.7版本的hadoop
mv hadoop-2.7.7 /usr/local/hadoop	
rpm -ql java-1.8.0-openjdk	# 查看jdk安装的目录

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh	# hadoop运行时的环境变量
export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre"		# 通过rpm -ql 查找到的jdk安装的目录，25行。
export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"		# hadoop配置文件目录，33行。

cd /usr/local/hadoop
./bin/hadoop version	# 查看hadoop版本

6、使用hadoop统计单词个数

cd /usr/local/hadoop
mkdir ./input
cp ./*.txt ./input	# 将数据放在./input这个目录下（目录名字可以自定义）
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar  wordcount ./input./output		# jar表示运行jar包，./input是输入的数据的目录，./output是输出的结果的目录
cat ./output/*	# 查看所有输出结果