hadoop1.2.1安装

最新推荐文章于 2018-01-25 14:17:00 发布

追kd风

最新推荐文章于 2018-01-25 14:17:00 发布

阅读量1.4k

点赞数

本文链接：https://blog.youkuaiyun.com/kdpujie/article/details/17280051

版权

该博客详细介绍了如何在3台Ubuntu 12.04虚拟机上搭建Hadoop 1.2.1集群，包括创建用户和用户组、配置SSH免密码登录、安装JDK以及设置环境变量，最后进行Hadoop的下载、解压、配置和启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，实验环境：

虚拟机3台，系统：ubuntu12.04 名称：master、data01、data02

2，用addgrou/adduser命令在每个节点行，增加hadoop用户组和grid用户

3， vi /etc/hosts文件，增加ip和主机映射关系

4，设置SSH免密码登录

1）每个节点都切换到grid用户，键入命令：ssh-keygen -t rsa 生成.ssh目录。（输入命令后，对于出现的提示一直按回车就行）

2）把data01和data02节点下的 .ssh/id_rsa.pub 文件利用scp命令复制到master节点的 .ssh/ 目录下。

例如：

          scp id_rsa.pub grid@master:/home/grid/.ssh/id_rsa01.pub

3）在master节点新建文件 .ssh/authorized_keys。把master、data01、data02节点下的id_rsa.pub文件内容追加到master节点的.ssh/authorized_kes中。

      cat id_rsa01.pub >> authorized_keys;
      cat id_rsa02.pub >> authorized_keys;

4）把生成的master节点的authorized_keys分别拷贝到data01、data02节点的相同目录下。

     scp ./authorized_keys grid@data01:/home/grid/.ssh/

5）每台机器相互测试，看免密码是否成功。比如：ssh master 是否需要输入密码。

5，JDK安装

1）到oracle官网下载适合的版本：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2）设置环境变量

在目录/etc/profile.d/下，新建java.sh，输入内容：

JAVA_HOME=/usr/jdk1.7.0_45
HADOOP_HOME=/home/grid/hadoop-1.2.1
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
export JAVA_HOME CLASSPATH PATH

每个节点安装步骤都一样。

6，hadoop安装

1）下载hadoop1.2.1

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

2）解压到grid用户下

      tar -zxvf  hadoop-1.2.1-bin.tar.gz  
      cd hadoop-1-2.1/conf/

3）vi hadoop-env.sh 设置hadoop的java环境

4）vi core-site.xml

5)， vi hdfs-site.xml

6)，vi mapred-site.xml

7），masters文件中写入主节点：master

slaves文件中写入数据节点：data01、data02

8），格式化hadoop

        bin/hadoop namenode -format

9），启动集群：

       bin/start-all.sh

hadoop 配置文件参数意义可参考：点击打开链接