hadoop 2.5.1集群安装

特别提示 文章中提到的端口号 安实际机器能提供的端口号配置 注意日志提示 查找问题

软件的安装目录是 /usr/local/

安装机器假设

192.168.0.1     hduser/passwd        cloud001       nn/snn/rm        CentOS6 64bit

192.168.0.2     hduser/passwd        cloud002        dn/nm             CentOS6 64bit

192.168.0.3     hduser/passwd        cloud003        dn/nm              CentOS6 64bit

上面各列分别为IP、user/passwd、hostname、在cluster中充当的角色（namenode, secondary namenode, datanode , resourcemanager, nodemanager）

修改/etc/hosts 文件，增加三台机器的ip和hostname的映射关系

                192.168.0.1     cloud001

                192.168.0.2     cloud002

                192.168.0.3     cloud003

环境准备

一 jdk 安装 hadoop 2以上 都要采用jdk1.7

下载地址

http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html 

下载对应系统版本的jdk版本

安装参考

假设下载版本是 jdk-7-linux-x64.tar.gz

tar -zxvf  jdk-7-linux-x64.tar.gz 解压到安装目录  

配置环境变量

vi  vi /etc/profile

JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOMECLASSPATH PATH

保存文件

执行source /etc/profile 使配置生效

执行 Java 可以看到 下图显示信息 即配置成功

二 设置机器之间的无秘钥登陆

1.首先在三台机器上增加用户hduser

adduser haduser

这里我们为每台机器新建了一个账户hduser.这里需要给每个账户分配sudo的权限。（切换到root账户，修改/etc/sudoers文件，

增加：hduser  ALL=(ALL) ALL 

2 查看ssh 是否安装 

CentOS 为例子 rqm -qa |grep ssh 输入命令 显示入下图的软件列表说明已经正确安装 如果没有 执行 yum -y install ssh （其他版本的可以查询）

安装完成 将用切换到hduser 

安装完成后会在~目录（当前用户主目录，即这里的/home/hduser）下产生一个隐藏文件夹.ssh（ls  -a 可以查看隐藏文件）。如果没有这个文          件，自己新建即可（mkdir .ssh）。

具体步骤如下：

1、 进入.ssh文件夹

2、 ssh-keygen -t  rsa 之后一路回 车（产生秘钥）

3、 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）

4、 重启 SSH 服 务命令使其生效 :service sshd restart（这里RedHat下为sshdUbuntu下为ssh）

此时已经可以进行ssh localhost的无密码登陆

     【注意】：以上操作在每台机器上面都要进行。

3.3设置远程无密码登陆

这里只有cloud001是master，如果有多个namenode，或者rm的话则需要打通所有master都其他剩余节点的免密码登陆。（将001的authorized_keys追加到002和003的authorized_keys）

进入001的.ssh目录

scp authorized_keys hduser@cloud002:~/.ssh/ authorized_keys_from_cloud001

进入002的.ssh目录

cat authorized_keys_from_cloud001>> authorized_keys

至此，可以在001上面sshhduser@cloud002进行无密码登陆了。003的操作相同。

以上操作hadoop需要的环境就OK了

安装开始

http://125.39.68.199/files/11820000051A4411/mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz

1 下载地址并解压

2 配置之前，需要在cloud001本地文件系统创建以下文件夹：

~/dfs/name

~/dfs/data

~/temp

这里要涉及到的配置文件有7个：

~/hadoop-2.5.1/etc/hadoop/hadoop-env.sh

~/hadoop-2.5.1/etc/hadoop/yarn-env.sh

~/hadoop-2.5.1/etc/hadoop/slaves

~/hadoop-2.5.1/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.5.1/etc/hadoop/mapred-site.xml

~/hadoop-2.5.1/etc/hadoop/yarn-site.xml

3.修改配置文件

上个别文件默认不存在的，可以复制相应的template文件获得。

配置文件1：hadoop-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_40）

配置文件2：yarn-env.sh

修改JAVA_HOME值（exportJAVA_HOME=/usr/java/jdk1.7.0_40）

配置文件3：slaves （这个文件里面保存所有slave节点）

写入以下内容：

cloud002

cloud003

配置文件4：core-site.xml

<configuration>

                <property>

                                <name>fs.defaultFS</name>

                                <value>hdfs://cloud001:9000</value>

                </property>

       <property>

                                <name>io.file.buffer.size</name>

                                <value>131072</value>

                </property>

       <property>

                                <name>hadoop.tmp.dir</name>

                                <value>file:/home/hduser/tmp</value>

                                <description>Abase for other temporary directories.</description>

                </property>

        <property>

               <name>hadoop.proxyuser.hduser.hosts</name>

               <value>*</value>

       </property>

                 <property>

               <name>hadoop.proxyuser.hduser.groups</name>

               <value>*</value>

       </property>

</configuration>

配置文件5：hdfs-site.xml

<configuration>

       <property>

                <name>dfs.namenode.secondary.http-address</name>

               <value>cloud001:9001</value>

        </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

                 <value>file:/home/hduser/dfs/name</value>

            </property>

           <property>

                    <name>dfs.datanode.data.dir</name>

                    <value>file:/home/hduser/dfs/data</value>

            </property>

            <property>

                     <name>dfs.replication</name>

                     <value>3</value>

             </property>

             <property>

                     <name>dfs.webhdfs.enabled</name>

                     <value>true</value>

         </property>

</configuration>

配置文件6：mapred-site.xml

<configuration>

                <property>

                                <name>mapreduce.framework.name</name>

                                <value>yarn</value>

                </property>

                <property>

                                <name>mapreduce.jobhistory.address</name>

                                <value>cloud001:10020</value>

                </property>

                <property>

               <name>mapreduce.jobhistory.webapp.address</name>

               <value>cloud001:19888</value>

       </property>

</configuration>

配置文件7：yarn-site.xml

<configuration>

                 <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce.shuffle</value>

        </property>

                 <property>

               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

               <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

               <name>yarn.resourcemanager.address</name>

               <value>cloud001:8032</value>

       </property>

                <property>

               <name>yarn.resourcemanager.scheduler.address</name>

               <value> cloud001:8030</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.resource-tracker.address</name>

                        <value>cloud001:8031</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.admin.address</name>

                        <value>cloud001:8033</value>

               </property>

                <property>

               <name>yarn.resourcemanager.webapp.address</name>

               <value>cloud001:8088</value>

       </property>

</configuration>

接下来将配置好的hadoop 复制到其他两台机器上

scp  hadoop 目录  hdroot@机器 目标机器hadoop目录 

4、启动验证

4.1 启动hadoop

进入安装目录： cd  ~/hadoop-2.2.0/

格式化namenode：./bin/hdfs namenode –format

启动hdfs: ./sbin/start-dfs.sh

此时在001上面运行的进程有：namenode secondarynamenode

002和003上面运行的进程有：datanode

启动yarn: ./sbin/start-yarn.sh

此时在001上面运行的进程有：namenode secondarynamenoderesourcemanager

002和003上面运行的进程有：datanode nodemanaget

查看集群状态：./bin/hdfs dfsadmin –report

查看文件块组成：  ./bin/hdfsfsck / -files -blocks

查看HDFS:    http://192.168.0.1:50070

查看RM:    http:// 192.168.0.1:8088

安装完成可以跑一下经典例子wordcount 具体参考

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html