
写在前面
如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话,你需要先跟着视频课程 :

在本地搭建集群环境,在这个视频课程中你需要学习的章节是:
- VMWare WorkStation 安装
- 创建虚拟机
- 安装 Centos 7 操作系统
- Centos 7 网络配置方式说明
- Centos 7 网络配置
- 使用客户端登录操作虚拟机
- 克隆三台虚拟机
- 修改主机名
- ip 映射主机名
- 配置无密钥登录
- 虚拟机的文件上传和下载
- 关闭防火墙
- 安装 Java
请在看本篇博客之前务必学习完上面视频课程中章节,如果你能学习完 三天入门大数据实操课程 所有的章节的话就更好,因为你学完这个课程可以有以下三大收获:
1. 搭建一个属于自己的大数据集群
2. 使用大数据技术处理大数据文件
3. 建立大数据技术知识体系架构
Hadoop 安装
Hadoop 3.x 详细安装步骤请参考:
3 天入门大数据技术/Linux/Hadoop/Sparkke.qq.com
本篇文章是 Hadoop 2.x 安装步骤
安装前
分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata,即执行下面的命令:
mkdir ~/bigdata
Hadoop 安装包下载
我们下载安装包的时候一般会去官网下载,Hadoop 的官网是:https://hadoop.apache.org/ 。
Hadoop 所有版本的安装包都放在 https://archive.apache.org/dist/hadoop/common/ 这个网址中,我们可以根据自己的需求下载相应的版本。
我们这篇文章以 Hadoop 2.x 系列的 Hadoop 2.7.5 版本为例来进行安装。实际上,Hadoop 2 中的所有版本的安装步骤基本都是一致的。我们可以在 master 机器上通过下面的命令来下载 Hadoop 安装包:
## 进入到主目录下的 bigdata 目录下 cd ~/bigdata
## 使用 wget 下载 hadoop 2.7.5 的安装包
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
第一次运行上面的 wget 命令的时候,会报如下的错误:
[root@master bigdata]# wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
-bash: wget: command not found
当出现上面的错误的时候,我们需要使用 yum 来安装 wget :
## 安装 wget 命令
yum -y install wget
然后再执行下面的命令:
## 使用 wget 下载 hadoop 2.7.5 的安装包
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz