hadoop系列：hadoop集群搭建

最新推荐文章于 2025-04-07 19:11:33 发布

原创最新推荐文章于 2025-04-07 19:11:33 发布 · 150 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍如何在Ubuntu 12.04上搭建Hadoop环境，包括更改源地址、安装JDK、设置免密码SSH等内容，为初学者提供实用教程。

系列简介：

前段时间看了网上一些关于hadoop的文章，其中将hadoop说的神乎其神，之前只知道hadoop使用的是google的MapReduce理论；但是它到底能够完成什么样的事情？相比我们现在使用的技术有什么样的优势？对开发者又有什么样的要求？
带着这些疑问，我开始了hadoop的探索旅程...
为了学习hadoop，那么我们必须要有个hadoop的环境，这篇文章就是为您解决安装hadoop环境的问题；文章中都是我自己亲自试验过的（有的甚至试验了好几遍），因此绝对可靠，如果您在过程中碰到任何问题，欢迎联系我（邮箱：alex.chengxinwen@gmail.com）

操作系统准备：

由于没有多余的机器，因此我使用的是虚拟机；
实体机操作系统：win7
虚拟机软件：VMware Workstation 9.0.0 build-812388
虚拟操作系统：ubuntu-12.04-desktop-amd64

对于ubuntu操作系统的安装，不是本文重点，因此不再描述，请不清楚的同学直接google解决；

系统安装后需要修改ubuntu的源地址

首先备份Ubuntu 12.04源列表（备份下当前的源列表，有备无患嘛）
```
sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup
```
修改更新源，使用gedit工具打开源配置文件
```
sudo gedit /etc/apt/sources.list
```

在打开的sources.list文件顶端插入下面网易源，经过测试速度比较快，您也可以换其他的源

# 网易源
deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
deb http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted

更新源列表信息
```
sudo apt-get update
```

至此，您就可以享受新源的速度了；比如安装中文语言包等，会比官方源快N倍哦。

安装jdk

下载JDK：我选择的是jdk7u15，下载地址为：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html。下载后文件名 jdk-7u15-linux-x64.tar.gz
创建jdk安装目录：
```
sudo mkdir /opt/java
```
解压：解压下载文件到/opt/java
```
sudo tar zxvf /home/alex/Downloads/jdk-7u15-linux-x64.tar.gz -C/opt/java
```
其中/home/alex/Downloads是本地存放jdk下载文件的地方，您的路径可能不同，请注意修改；

修改环境变量：打开环境变量配置文件

sudo gedit /etc/environment

修改后的文件，第1行最后增加了JAVA_HOME，第2~4行是新增的

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:${JAVA_HOME}/bin"
JAVA_HOME=/opt/java/jdk1.7.0_04
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
LC_NUMERIC="zh_CN.UTF-8"
LC_TIME="zh_CN.UTF-8"
LC_MONETARY="zh_CN.UTF-8"
LC_PAPER="zh_CN.UTF-8"
LC_IDENTIFICATION="zh_CN.UTF-8"
LC_NAME="zh_CN.UTF-8"
LC_ADDRESS="zh_CN.UTF-8"
LC_TELEPHONE="zh_CN.UTF-8"
LC_MEASUREMENT="zh_CN.UTF-8"
LANGUAGE="zh_CN:en_US:en"
LANG="zh_CN.UTF-8"

重新加载.bashrc
```
source ~/.bashrc
```
添加java的运行命令：到这里后运行 javac, java, 等命令还是不能用，接下来再执行下面命令：

sudo update-alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_15/bin/java 300 
sudo update-alternatives --install /usr/bin/javac javac /opt/java/jdk1.7.0_15/bin/javac 300 
sudo update-alternatives --install /usr/bin/jar jar /opt/java/jdk1.7.0_15/bin/jar 300 
sudo update-alternatives --install /usr/bin/javah javah /opt/java/jdk1.7.0_15/bin/javah 300 
sudo update-alternatives --install /usr/bin/javap javap /opt/java/jdk1.7.0_15/bin/javap 300  
sudo update-alternatives --install /usr/bin/jps jps /opt/java/jdk1.7.0_15/bin/jps 300

测试jdk是否安装成功
```
java -version
```
如果显示如下信息则表示jdk安装成功
```
java version "1.7.0_15"
Java(TM) SE Runtime Environment (build 1.7.0_15-b03)
Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)
```
安装免密码ssh

添加hadoop专用用户【可选】

安装hadoop

配置hadoop

运行hadoop自带测试程序