hadoop伪分布式

Hadoop伪分布式的安装

准备：安装Linux系统的虚拟机，jdk，Hadoop（这里用jdk1.7.0，Hadoop1.2.1)

1，打开命令提示符输入sudo -s回车，输入密码升级到更高权限。

2，安装ssh，

      # apt-get install ssh

3,安装jdk,这里我的jdk在home文件夹下就解压到此处

   #  tar xzvf jdk-7u71-linux-i586.tar     解压到当前文件夹下，接下来环境变量配置

   #   vim /etc/profile

   在其中加入

   export  JAVA_HOME=/home/jdk1.7.0_71

   export  JAVA_BIN=/home/jdk1.7.0_71/bin

   export  PATH=$PATH:$JAVA_HOME/bin

export   CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME PATH JAVA_BIN CLASSPATH

让文件修改后立即生效命令如下

# . /etc/profile

注意.和/etc/profile之间有空格

重启测试

java -version

输出版本信息即安装成功

4，安装Hadoop

解压

  #  tar xzvf hadoop-1.2.1.tar

1）编辑conf/hadoop-env.sh文件

  将#export JAVA_HOME行改为

   export  JAVA_HOME=jdk安装目录

  2）配置core-site.xml文件

  <configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop-1.2.1/tmpdir</value>
      <description>A base for other temporary directories.</description>
    </property>

</configuration>

3)配置hdfs-site.xml文件

  <configuration>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop-1.2.1/data</value>
</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4)配置mapred-site.xml文件

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

5，免密码ssh设置

首先进入root目录下

#  cd  /root

#  ssh-keygen -t rsa

一直按enter.

进入.ssh目录执行命令

 #cp id_rsa.pub authorized_keys

6，Hadoop运行

1）进入Hadoop1.2.1目录，格式化文件系统

  #bin/hadoop namenode -format

2)启动Hadoop进程

#bin/start-all.sh

3)查看进程启动情况

# jps

3235 NameNode

4113 Jps

3819 JobTracker

4059 TaskTracke

3721 SecondaryNameNode

3487 DataNode

这六个进程全部启动说明已经成功

4）停止所有进程

# stop-all.sh