从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）

最新推荐文章于 2025-06-10 11:08:45 发布

AD稳稳

最新推荐文章于 2025-06-10 11:08:45 发布

阅读量5.1k

点赞数 8

CC 4.0 BY-SA版权

分类专栏： Hadoop 大数据 Linux

本文链接：https://blog.youkuaiyun.com/ADwenwen/article/details/96021217

这篇博客详细介绍了如何在CentOS 7系统上安装配置Hadoop伪分布环境，包括虚拟机安装、CentOS系统配置、SSH无密码登录、Java环境配置以及Hadoop0.20.0的安装步骤。作者分享了安装过程中的注意事项和配置细节，适合初学者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

五、Hadoop0.20.0伪分布环境安装

六、运行示例

七、参考与感谢

零、前言

（一）、前言

最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和hadoop 2.x版本，但是安装完成后发现操作wiki的jar包要比较老版本的hadoop，最终选择了使用较多的CentOS 7版本的linux系统和hadoop 0.20.0版本。java环境配置的jdk1.7，自从jdk更新为jdk和jar合并以后，很多地方都不太适应，1.8版本又怕不契合最终选择jdk 1.7安装。

由于每个linux系统操作不太一样，所以要看安装要版本对应。不同hadoop版本的前部分安装大同小异，一直到第五部分的（一）步骤都是一样的，可以进行些参考。有一些步骤是我认为方便后续操作的，觉得麻烦可以忽略，因为这段时间配置过了很多遍，会写的比较详细，尽量做到傻瓜操作。强调一下：本文配置的是伪分布模式！伪分布！伪分布！。不说废话了，进入正题。

（二）、所需软件安装包、压缩包及下载地址

1. VMware Workstation 14（虚拟机软件）：链接：https://pan.baidu.com/s/1auDLNGooMD4khVcyLfwBBQ 提取码：4trs

2. JDK 1.7 linux x64版：链接：https://pan.baidu.com/s/1r0fT27FrEmECjePIOvOiJg 提取码：qg32

3. Hadoop 0.20.0 版本：链接：https://pan.baidu.com/s/1-wkxdhXaOAFTkncp2dlWig 提取码：8lcs

4. Linux系统安装镜像CentOS 7（清华）：http://mirrors.tuna.tsinghua.edu.cn/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso（同时吐槽一下百度云吃相越来越难看，不是会员大于4g的文件不能上传！）

一、虚拟机安装及CentOS系统配置

（一）、VMware虚拟机软件安装（其实这里没什么好说的就是普通的软件安装）

1.下载完成之后解压

2.打开解压后的文件中就是安装包

3.打开上图显示的exe文件进行安装，注意路径这里尽量不要装在C盘就OK。

（二）、CentOS系统安装

1. 打开VMware，点击“创建新的虚拟机按钮”：

2. 选择需要安装的系统镜像文件（以下开始没有提及的位置都可以直接按“确定”或“下一步”）

3. 确定安装名称及虚拟机安装位置（虚拟机名称会在安装后显示在左侧信息栏。安装位置选择尽量不要在C盘，且目标盘空间需要足够大。）（没有提到的操作可以直接按“确定”或“下一步”）

4. 磁盘大小确定（由于在hadoop中运行的一般都是超大型文件，因此尽量在第一次安装虚拟机时就将磁盘设置足够大，这里我设置80G，且设置为单个文件。是因为可能后续操作中一个文件就有几十G，如果分区可能无法装入。注意：一旦后续空间不足，追加磁盘操作比较复杂且很容易出错误）（没有提到的操作可以直接按“确定”或“下一步”）