Hadoop-HDFS分布式集群搭建

HDFS伪分布式搭建步骤

1、上传文件

    xshell    使用命令rz-----yum install lrzsz -y

2、解压

    tar -zxvf jdk...

3、配置环境变量

 

    vim /etc/profile 进入，找到export开头的地方加入下面代码

    export JAVA_HOME=/opt/software/jdk1.8.0_121
    export PATH=$PATH:$JAVA_HOME/bin
    source /etc/profile-----让环境变量生效

    java -version 查看环境变量是否配置
    注：
        用户变量  .bashrc
        系统变量    /etc/profile

3、上传hadoop包

 tar -zxvf hadoop-2.6.5.tar.gz

4、修改配置文件

 进入解压完的hadoop文件目录看到如下目录： 

    bin---系统的操作命令（文件的增删改查）
    sbin--系统的管理命令（集群的启动、关闭）
    etc/hadoop---配置信息

        1、slaves---节点（DN）

            伪分布式的话写自己的本机名称  下面的node01为本机名称

         2、hdfs-site.xml

        <property>
            <name>dfs.replication</name>     //设置备份个数
            <value>1</value>
        </property>

        <property>     
            <name>dfs.namenode.secondary.http-address</name>   //secondaryNamenode
            <value>node01:50090</value>
        </property>

        3、core-site.xml

         <property>
            <name>fs.defaultFS</name>            //namenode
            <value>hdfs://node01:9000</value>    
        </property>
        <property>
            <name>hadoop.tmp.dir</name>          //namenode启动后产生的信息
            <value>/var/abc/hadoop/local</value>
        </property>

        4、 把*-env.sh的文件内部所有的java路径改为绝对路径

 

5、格式化

  hdfs namenode -format-----让所有文件生效(bin 目录下面)

6、启动命令

   /opt/software/hadoop/sbin----start-dfs.sh

7、配置hadoop的环境变量（可以不配置）

    export HADOOP_HOME=/opt/software/hadoop-2.6.5
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

8、配置免密登录

(1)配置免密登录  node01->node01

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

 

完全分布式配置

1、配置多个节点的网络映射

    vim /etc/hosts   加入四个主机地址和主机名称
    192.168.79.123 node01
    192.168.79.124 node02
    192.168.79.125 node03
    192.168.79.126 node04

2、多节点之间免密配置

    (1)配置免密登录

        在每一个节点上运行ssh-keygen -t rsa     产生他们自己的密钥
        在node01执行
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01     <-node01
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02     <-node01
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03     <-node01
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04     <-node01
        
        注：将某一个节点的文件发送到其他的节点上
        scp /etc/hosts root@192.168.79.124:/etc

3、配置slaves到多个节点上-----设置的是DN节点的启动位置

 

      1、node02

            node03

           node04

4、修改core-site.xml和hdfs-site.xml

 

        2、hdfs-site.xml
        <property>
            <name>dfs.replication</name>     //设置备份个数
            <value>1</value>
        </property>

        <property>     
            <name>dfs.namenode.secondary.http-address</name>   //secondaryNamenode
            <value>node01:50090</value>
        </property>
        3、core-site.xml
        <property>
            <name>fs.defaultFS</name>            //namenode
            <value>hdfs://node01:9000</value>    
        </property>
        <property>
            <name>hadoop.tmp.dir</name>          //namenode启动后产生的信息
            <value>/var/abc/hadoop/local</value>
        </property>

注：这里把secondarynamenode的位置放到了node01上面

5、将修改完成后的文件发送到其他的节点上

   例： scp -r software root@node02:/opt 

6、将环境变量全部配置完成

7、格式化，让配置文件生效

    hdfs namenode -format

8、启动集群