任务5：安装并配置Hadoop

任务描述

知识点：

• 掌握Hadoop集群的搭建

重  点：

• 掌握Linux基础命令
• 在Linux系统下使用命令安装Hadoop集群

内  容：

• 安装配置Hadoop集群
• 配置Hadoop环境变量
• 修改Hadoop配置文件
• 部署Hadoop集群

任务指导

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。任务主要内容：下载安装Hadoop包，配置环境变量，配置Hadoop集群

Hadoop集群搭建过程

1. 创建Hadoop目录

2. 解压Hadoop安装包

3. 创建Hadoop数据存放的目录（例如：tmp、hdfs、hdfs/data、hdfs/name等目录）

4. 配置Hadoop环境变量

5. 修改Hadoop配置文件

• 配置core-site.xml文件
• 配置 hdfs-site.xml 文件
• 配置 mapred-site.xml 文件
• 配置yarn-site.xml文件
• 配置hadoop-env.sh、yarn-env.sh、mapred-env.sh文件的JAVA_HOME变量
• 配置slaves文件
• 将配置好的Hadoop复制到其他节点对应位置上

任务实现

1. 安装Hadoop（在master服务器解压并配置完成后，再复制到slave服务器）

• 创建Hadoop安装目录/home/hadoop（可以自已指定路径）

[ root@master ~]# mkdir /home/hadoop

• 下载安装包“hadoop-2.9.2.tar.gz”，当前项目已经提供安装文件，位于/home/software目录下，可直接使用。
• 进入/home/software目录

[ root@master ~]# cd /home/software/

• 解压安装Hadoop到/home/hadoop目录中

[ root@master software ]# tar -zxvf /home/software/hadoop-2.9.2.tar.gz -C /home/hadoop/

• 在/home/hadoop目录下分别创建tmp、hdfs/data、hdfs/name 等目录，用于存放Hadoop集群的元数据等信息。

[ root@master software ]# cd ~
[ root@master ~]# mkdir -p /home/hadoop/tmp
[ root@master ~]# mkdir -p /home/hadoop/hdfs/d