关于Hadoop2.2.0在虚拟机centOS6.5下的安装配置_linux安装配置hadoop2.6-优快云博客

1、安装虚拟机和centOS6.5

这个比较容易我直接上截图，centOS为64位的。有的虚拟机如果装不了64位的，请自行到BIOS开启VT（虚拟化技术）。

下一步

找到ISO的位置，然后点下一步

输入各项，然后点下一步。

下一步

完成。

JDK的安装与环境变量的设置

下载jdk

点击打开链接

选择一个文件夹下面解压就行，如果是bin的就在该位置运行就行。

[root@localhost java]# jdk-6u45-linux-x64-rpm.bin

配置环境变量。

[root@localhost ~]# vi /etc/profile

在最后面添加

export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

然后按 :wq 保存。

执行 source /etc/profile 让其生效。

验证一下

[root@localhost ~]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

3、设置ssh免密码登录

首先我们建立一个名为hadoop的用户。

useradd hadoop  
passwd hadoop

再在根目录下建立一个名为hadoop的文件夹。

[root@localhost ~]# mkdir /hadoop

将文件夹授权给hadoop用户

chown -R hadoop /hadoop

设置Hadoop用户使之可以免密码ssh到localhost

[sql]view plaincopyprint? 
     
su - hadoop  
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    
cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys  
  
cd /home/hadoop/.ssh   
chmod 600 authorized_keys  

注意这里的权限问题，保证.ssh目录权限为700，authorized_keys为600

验证：

[plain]view plaincopyprint? 
     
[hadoop@localhost .ssh]$ ssh localhost  
Last login: Sun Nov 17 22:11:55 2013  

ssh localhost之后无需输入密码就可以连接，配置OK

4、安装和配置hadoop2.2.0

我将hadoop解压到

再把opt文件的权限授权给用户hadoop

chown -R hadoop /opt/hadoop

接着就是配各种文件。

这些文件都在

首先修改core-site.xml

<configuration>  
    <property>    
        <name>fs.default.name</name>    
        <value>hdfs://localhost:9000</value>    
    </property>    
  <property>  
    <name>hadoop.tmp.dir</name>  
    <value>/hadoop/tmp</value>  
  </property>  
  
</configuration>

接着修改hdfs-site.xml

<configuration>  
<property>    
   <name>dfs.replication</name>    
   <value>1</value>    
 </property>    
  
 <property>    
   <name>dfs.namenode.name.dir</name>    
   <value>/hadoop/nddir</value>    
 </property>    
  
  
 <property>    
   <name>dfs.datanode.data.dir</name>    
   <value>/hadoop/dddir</value>    
 </property>    
  
<property>    
  <name>dfs.permissions</name>    
  <value>false</value>    
</property>  
  
</configuration>

接着修改mapred-site.xml

<configuration>  
<property>    
    <name>mapreduce.cluster.temp.dir</name>    
    <value></value>    
    <description>No description</description>    
    <final>true</final>    
  </property>    
    
  <property>    
    <name>mapreduce.cluster.local.dir</name>    
    <value></value>    
    <description>No description</description>    
    <final>true</final>    
  </property>    
</configuration>

接着修改mapred-env.sh

添加

export JAVA_HOME=/usr/java/jdk1.6.0_45

接着修改

yarn-site.xml

默认情况下不用修改

<configuration>

<!-- Site specific YARN configuration properties -->

</configuration>

最后修改hadoop-env.sh

export HADOOP_IDENT_STRING=$USER
export JAVA_HOME=/usr/java/jdk1.6.0_45  
export HADOOP_HOME_WARN_SUPPRESS="TRUE"

最最后修改/etc/profile

最终如下

export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/hadoop/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行（在root下）执行source /etc/profile 让其生效。

验证一下

[hadoop@localhost ~]$ hadoop version
Hadoop 2.2.0
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
This command was run using /opt/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

启动hadoop

启动前先格式化各个节点

[hadoop@localhost ~]$ hadoop namenode -format

最终出现
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

说明配置已经成功。

启动所有服务。