第一个博客写一个完整的hadoop伪分布模式平台搭建

本文详细介绍如何在虚拟机中安装配置Hadoop环境,包括JDK与Hadoop软件的安装、环境变量设置、SSH免密码登录配置及核心配置文件的调整。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

虚拟机的安装度娘有大量的教程,在这里不多讲,直接上干货

先做一些准备工作

        下载jdk:http://www.oracle.com/technetwork/java/javase/downloads/index.html

        下载Hadoop安装包:去阿帕奇官网下载自己想要的版本 下载链接:http://hadoop.apache.org/#Download+Hadoop

        推荐一个工具:wincp 远程拷贝非常好用

      打开虚拟机查看网络是否畅通:ifconfig  如果找不到这个命令就需要安装net-tools 命令是:sudo apt-get install net -tools

            安装ssh   命令:sudo apt-get install ssh 一路yes安装成功

            生成公钥私钥 命令:ssh-keygen 一路回车

            在 ~/.ssh目录里  将id——rsa.pub重定向到authorized_keys 命令:cat id_rsa.pub >> authorized_keys  然后ssh localhost查看是否成功,第一次连接会询问是否保存 yes即可

 正式开始:

        用wincp将宿主机文件拷贝到虚拟机 

        在/usr下面新建一个目录 为soft   为soft添加权限  sudo chmod 7777 soft

        将Hadoop gz文件解压到soft目录 命令:tar -xzvf Hadoop文件名 -C /usr/soft/

        将 jdk gz文件解压到soft目录  命令:tar -xzvf  jdk文件名 -C /usr/soft/

        解压完成之后配置环境变量:进入根目录下的etc目录 编辑profile文件 注意:这里是root权限 编辑使用sudo vi profile

         在最后一行添加环境变量:

                HADOOP_HOME=/usr/soft/hadoop

                 JAVA_HOME=/usr/soft/jdk

                 重点:PATH=$PATH:$HADOOP_HOEM/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin 环境变量之间用冒号分割冒号分割冒号分割

           然后ssh localhost 使用$HADOOP_HOME和$JAVA_HOME查看是否配置成功 然后exit推出shell

            编辑配置文件:在hadoop的解压包目录内进入etc下面的hadoop编辑以下5个配置文件

            Hadoop-env.sh  更改export JAVA_HOME=${JAVA_HOME}  更改为绝对目录export JAVA_HOME=/usr/soft/jdk8

            core-site.xml   添加

                    <property>

                        <name>fs.defaultFS</name>
                        <value>hdfs://localhost:9000</value>
                </property>
                 <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/hadoop_tmp</value><!--这是namenode的目录,不配置每次启动都需要重新format namenode-->

                  </property>

            hdfs-site.xml 添加

                <property>
                        <name>dfs.replication</name>
                        <value>1</value><!--这是datenode的备份数,伪分布模式,设置为1-->

                </property>

            yarn-site.xml 添加

                <property>
                        <name>yarn-nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                </property>

    然后运行hadoop namenode -fromat命令 看到 successful formated就表示namenode初始化成功

    运行命令start-all.sh 

        然后jps查看守护进程

            2224 ResourceManager
            2564 Jps
            1734 NameNode
            1865 DataNode
            2362 NodeManager

            2079 SecondaryNameNode

恭喜你成功了

          

        

                            

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值