从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）

目录

零、前言

一、虚拟机安装及CentOS系统配置

二、CentOS系统及网络配置

三、SSH无密码登录

四、Java安装及环境配置

五、Hadoop0.20.0伪分布环境安装

六、运行示例

七、参考与感谢

---

---

零、前言

（一）、前言

最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和hadoop 2.x版本，但是安装完成后发现操作wiki的jar包要比较老版本的hadoop，最终选择了使用较多的CentOS 7版本的linux系统和hadoop 0.20.0版本。java环境配置的jdk1.7，自从jdk更新为jdk和jar合并以后，很多地方都不太适应，1.8版本又怕不契合最终选择jdk 1.7安装。

由于每个linux系统操作不太一样，所以要看安装要版本对应。不同hadoop版本的前部分安装大同小异，一直到第五部分的（一）步骤都是一样的，可以进行些参考。有一些步骤是我认为方便后续操作的，觉得麻烦可以忽略，因为这段时间配置过了很多遍，会写的比较详细，尽量做到傻瓜操作。强调一下：本文配置的是伪分布模式！伪分布！伪分布！。不说废话了，进入正题。

（二）、所需软件安装包、压缩包及下载地址

1. VMware Workstation 14（虚拟机软件）：链接：https://pan.baidu.com/s/1auDLNGooMD4khVcyLfwBBQ  提取码：4trs 

2. JDK 1.7 linux x64版：链接：https://pan.baidu.com/s/1r0fT27FrEmECjePIOvOiJg  提取码：qg32 

3. Hadoop 0.20.0 版本 ：链接：https://pan.baidu.com/s/1-wkxdhXaOAFTkncp2dlWig  提取码：8lcs 

4. Linux系统安装镜像CentOS 7（清华）：http://mirrors.tuna.tsinghua.edu.cn/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso（同时吐槽一下百度云吃相越来越难看，不是会员大于4g的文件不能上传！）

一、虚拟机安装及CentOS系统配置

（一）、VMware虚拟机软件安装（其实这里没什么好说的就是普通的软件安装）

1.下载完成之后解压

2.打开解压后的文件中就是安装包

3.打开上图显示的exe文件进行安装，注意路径这里尽量不要装在C盘就OK。

（二）、CentOS系统安装

1. 打开VMware，点击“创建新的虚拟机按钮”：

2. 选择需要安装的系统镜像文件（以下开始没有提及的位置都可以直接按“确定”或“下一步”）

3. 确定安装名称及虚拟机安装位置（虚拟机名称会在安装后显示在左侧信息栏。安装位置选择尽量不要在C盘，且目标盘空间需要足够大。）（没有提到的操作可以直接按“确定”或“下一步”）

4. 磁盘大小确定（由于在hadoop中运行的一般都是超大型文件，因此尽量在第一次安装虚拟机时就将磁盘设置足够大，这里我设置80G，且设置为单个文件。是因为可能后续操作中一个文件就有几十G，如果分区可能无法装入。注意：一旦后续空间不足，追加磁盘操作比较复杂且很容易出错误）（没有提到的操作可以直接按“确定”或“下一步”）

5.点击“完成”，就相当于你有了一台电脑。然后开始安装电脑的系统——CentOS。

6.上一步点击“完成”后，虚拟机开启，安装系统。点击虚拟机界面进入操作，“↑”和“↓”用于选择，这里选择“Install CentOS 7”。

7. 选择语言，选择自己喜欢的。。。我就选汉语了。这一步就不放图片了。

8. 语言选择后，自动进入“安装信息摘要”界面，需要选择安装模式，默认安装只有命令行模式，没有图形化界面。这里点击“安装选择”按钮，点开后先在左侧栏选择“GNOME桌面”，右侧所有条目打勾。（其他标有感叹号的打开点击确定就可以了）

9. 点击开始安装后，开始安装系统。此时可以设置linux系统的root用户密码（root用户即系统的超级管理员），点击感叹号那个图标开始设置。

打开密码设置页面如下，注意这个密码需要牢记（记为密码A）。root账户密码设置完毕后。点击完成等待系统安装完毕即可。返回安装界面另一个感叹号会自动消失。不用再设置。

10. 系统安装完成后配置

系统安装完后会需