菜鸟进阶大数据第四天(伪分布式集群的搭建和配置免密登录)

在Xshell里操作
1:上传文件------使用命令rz
    如果在你的Xshell里用不了这个命令，你可以先执行yum install lrzsz -y先下载
2：解压jdk的压缩包
    tar -zxvf 压缩包名
3:配置环境变量
    export JAVA_HOME=/opt/software/jdk1.8.0_121
     export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile--------------让文章变量生效

注：用户变量    .bashrc      系统变量    /etc/profile

4：上传hadoop包并解压

 tar -zxvf hadoop-2.6.5.tar.gz

5：bin---系统的操作命令（文件的增删改查）
    sbin--系统的管理命令（集群的启动、关闭）
    etc/hadoop---配置信息

            

1、slaves---节点（DN）
        2、hdfs-site.xml
        <property>
            <name>dfs.replication</name>     //设置备份个数
            <value>1</value>
        </property>

        <property>     
            <name>dfs.namenode.secondary.http-address</name>   
            <value>你的主机名:50090</value>
        </property>
        3、core-site.xml
        <property>
            <name>fs.defaultFS</name>            //namenode
            <value>hdfs://你的主机名:9000</value>    
        </property>
        <property>
            <name>hadoop.tmp.dir</name>          //namenode启动后产生的信息
            <value>/var/abc/hadoop/local</value>
        </property>
        4、
            把*-env.sh的文件内部所有的java路径改为绝对路径

      5、格式化
           hdfs namenode -format-----让所有文件生效
      6、启动命令
           /opt/software/hadoop/sbin----start-dfs.sh
       7、配置hadoop的环境变量
            export HADOOP_HOME=/opt/software/hadoop-2.6.5
            export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    
            java -version查看java

     配置免密登录就两步

           第一步： ssh-keygen -t rsa
           第二步： ssh-copy-id -i ~/.ssh/id_rsa.pub root@你的主机名

          启动第一步之后一直回车就行，启动第二步之后会遇到yes,no选项选yes就行，然后输入自己的密码就ok了。