spark分布式环境搭建(3) hadoop分布式环境安装

最新推荐文章于 2024-07-13 09:47:47 发布

原创最新推荐文章于 2024-07-13 09:47:47 发布 · 375 阅读

0 ·

CC 4.0 BY-SA版权

环境搭建专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了如何在分布式环境中安装和配置Hadoop，包括软件安装、环境变量配置、核心配置文件修改等步骤，以及如何启动Hadoop并验证其运行状态。

spark分布式环境搭建(3) hadoop分布式环境安装

目标:

安装hadoop软件
配置hadoop软件环境变量
启动hadoop
上传一个hadoop的压缩包到/opt目录中

解压hadoop压缩包
```
tar -zxvf hadoop-2.7.7.tar.gz
```

配置hadoop软件环境变量

修改hadoop-env.sh

vim /opt/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
## 找到其中的JAVA_HOME，将填上JAVA_HOME的地址

修改slaves文件

vim /opt/hadoop-2.7.7/etc/hadoop/slaves
## 向其中添加
spark1
spark2
spark3

修改core-site.xml文件

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://spark1:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop-2.7.7/tmp/data</value>
</property>
</configuration>

修改hdfs-site.xml文件

<configuration>
<property>
    <name>dfs.secondary.http.address</name>
    <value>spark2:50090</value>
</property>
<property>
    <name>dfs.http.address</name>
    <value>spark1:50070</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-2.7.7/namenodedir</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-2.7.7/datadir</value>
</property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
   </property>
</configuration>

修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>         
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>spark1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

配置环境变量

vim /etc/profile
## 添加如下
export HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

分发配置文件

# 分发配置文件
scp /etc/profile spark2:/etc
scp /etc/profile spark3:/etc

# 分发hadoop软件包
scp -r /opt/hadoop-2.7.7 spark2:/opt
scp -r /opt/hadoop-2.7.7 spark3:/opt
## 每个机器上面，执行一下
source /etc/profile

启动hadoop
```
## 初始化`hadoop`的`namenode`
hadoop namenode -format
## 启动hadoop
start-all.sh
```
启动完毕之后，如果没有问题的话，打开浏览器，输入master节点的ip地址加上50070端口号，看到hadoop的ui界面，基本上就没啥问题了