【hadoop环境搭建】

本文详细介绍了如何在Linux系统上搭建Hadoop环境,包括检查Java环境、下载安装包、解压配置、修改相关配置文件如hadoop-env.sh、core-site.xml和hdfs-site.xml,以及启动和验证Hadoop服务。通过这些步骤,你可以成功地在Linux上配置单节点Hadoop集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Linux搭建hadoop环境

1.查看Linux系统上是否装有Java环境

java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径

2.下载hadoop安装包

http://hadoop.apache.org/

1)图一:点击download

在这里插入图片描述

2)图二:选择对应版本点击binary(切记!!!下载binary而不是source!!!)

在这里插入图片描述

3)图三:点击链接进行下载

在这里插入图片描述

3.将下载的包上传到Linux系统,解压到指定的目录

	tar -zxvf aaa.tar.gz -C /tmp/

4.修改配置文件

注意
配置文件所在位置:/root/hadoop-2.10.1/etc/hadoop(具体位置根据你解压的位置去找,我的是在根目录下直接解压的)

1)hadoop-env.sh配置

找到export JAVA_HOME,将自己的jdk路径粘贴进去
在这里插入图片描述

2)core-site.xml配置

<configuration>
   <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/root/hadoop-2.10.1/tmp</value>
         <description>路径根据自己的实际位置去修改</description>
    </property>

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
  </property>

    <property>
        <name>hadoop.logfile.size</name>
        <value>10000000</value>
        <description>每个日志文件的最大值,单位:bytes </description>
    </property>

    <property>
        <name>hadoop.logfile.count</name>
        <value>10</value>
        <description>日志文件的最大数量</description>
    </property>
</configuration>

3)hdfs-site.xml配置

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/root/hadoop-2.10.1/tmp/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop-2.10.1/tmp/dfs/data</value>
    </property>
</configuration>

4)profile配置(路径:/etc)

HADOOP_HOME=/root/hadoop-2.10.1
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

修改完profile文件后,使用hadoop version命令出现该截图,则配置成功

4.格式化HDFS以及启动HADOOP

格式化hdfs:

hdfs namenode -format

启动HADOOP:// 这里可能需要输入三次linux系统密码

./sbin/start.all.sh 

5.查看

jps命令查看是否启动成功,成功截图如下,这三个缺一不可
在这里插入图片描述如果使用jps命令,出现上面的截图,那么已经成功搭建了hadoop环境

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值