Hadoop的伪分布搭建流程,详细步骤

本文详细介绍如何在Linux环境下安装并配置Hadoop集群,包括软件上传、解压、环境变量设置、SSH无密码登录配置、Hadoop核心配置文件调整及服务启动等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

   1.通过挂载上传软件至/home/hyxy/soft
               $>cp jdk1.8.XXX.tar.gz ~/soft
               $>cp hadoop.2.7.3.tar.gz ~/soft
   2.解压相关软件
               $>tar -zxvf jdk1.8.XXX.tar.gz
               $>tar -zxvf hadoop.2.7.3.tar.gz
   3.创建软连接
               $>ln -s jdk1.8.0_121/ jdk
               $>ln -s hadoop-2.7.3/ hadoop
   4.修改环境变量
               $>cd ~
               $>gedit  .bash_profile
        如下:
               在文件最后追加以下指令:
                 #jdk install
                     export JAVA_HOME=/home/hyxy/soft/jdk
                     export PATH=$JAVA_HOME/bin:$PATH

             #hadoop install
                     export HADOOP_HOME=/home/hyxy/soft/hadoop
                     export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
          使配置文件生效
                    $>source .bash_profile
                               注意:刷新完之后,当前会话可用;
                                建议reboot(重启)
   5.配置SSH--无密码登陆
                作用:Hadoop控制脚本依赖SSH来执行针对整个集群的操作。
               a.修改hostname
                          $>su root
                          $>gedit /etc/sysconfig/network
                            【HOSTNAME=master】
             b.修改hosts文件
                          $>gedit /etc/hosts
                         【在文件后追加:ip 主机名:192.168.142.138 master】
            c.reboot;
            d.生成秘钥
                      $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
                    【说明:-t设置生成秘钥的算法,采用的rsa;-P设置密码,默认为空;-f设置私钥生成的文件位置,】  
       e.生成认证库
               $>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
       f.修改认证库的权限为600
               $>chmod 600 ~/.ssh/authorized_keys
       g.  ssh master  
                   //无密登录成功!!!!
   6.配置hadoop
       a.找到hadoop的配置路径: cd  $HADOOP_HOME/etc/hadoop
       b.修改core-site.xml
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://localhost:9000</value>
                 </property>

       c.修改hdfs-site.xml
                <property>
                        <name>dfs.replication</name>
                        <value>1</value>        #只有一个副本数
                </property>

       d.修改hadoop-env.sh中的JAVA_HOME变量
                【export JAVA_HOME=/home/hyxy/soft/jdk】
       e.格式化HDFS
                $>hdfs namenode -format       
       f.开启hadoop守护进程

                $>start-dfs.sh    //开启HDFS

       7.查看服务:

            jps

        如图:



9:在虚拟机上火狐浏览器访问:
            http://master:50070


若想在windows的浏览器下访问:http://master:50070
        则需要在C:\Windows\System32\drivers\etc\hosts下面追加:
                     【   IP地址  主机名   】即可。






评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值