ubuntu16 + jdk8 + hadoop2.7 安装

最新推荐文章于 2023-11-23 01:45:48 发布

原创最新推荐文章于 2023-11-23 01:45:48 发布 · 814 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何在单机环境下安装配置Hadoop，包括JDK的安装、Hadoop安装包解压、SSH启动及防火墙关闭、核心配置文件core-site.xml、hdfs-site.xml与hadoop-env.sh的修改步骤，以及格式化与启动HDFS的方法。

1.安装JDK

2.解压hadoop 安装包至 /usr/local/hadoop 目录

3.启动ssh : ssh localhost

关闭机器的防火墙：
ufw disable

4.配置hadoop:

进入/usr/local/hadoop/etc/hadoop/目录下，修改三个配置文件：

第一个文件core-site.xml

core-site.xml
 <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>

第二个文件hdfs-site.xml

hdfs-site.xml
 <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

第三个文件hadoop-env.sh中找到如下行然后写入内容

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop/
export PATH=$PATH:/usr/local/hadoop/bin

接下来在系统环境变量中写入Hadoop的环境变量
vim /etc/environment

#在文件的结尾""之内加上
:/usr/local/hadoop/bin
:/usr/local/hadoop/sbin

第一步格式化

hadoop namenode -format

启动hdfs

sbin/start-all.sh

显示进程

jps

5.出现namenode、datanode、jps、resourcemanager、nodemanager、secondarymanager 六个进程即成功