Hadoop2.7.2分布式部署3(安装部署hadoop分布式)

最新推荐文章于 2020-12-06 20:53:00 发布

fxsdbt520

最新推荐文章于 2020-12-06 20:53:00 发布

阅读量857

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/fxsdbt520/article/details/50848809

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Hadoop2.7.2在多节点环境中的分布式部署过程，包括JDK安装、Hadoop软件配置及各节点间的SSH免密码登录设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一篇讲到hadoop2.7.2中各个节点之间ssh免密码登录，到此为止，master节点可以通过ssh访问node1和node2节点。下面将着重介绍hadoop2.7.2的分布式安装过程。

1.安装jdk

首先登录master节点。

mkdir /usr/java

然后将jdk1.8.0_20安装到/usr/java目录下。

然后执行命令：

scp -r jdk1.8.0_20/ node1:/usr/java

scp -r jdk1.8.0_20/ node2:/usr/java

以上命令会将master安装好的jdk复制到node1和node2相应的目录中，在复制之前要确保node1和node2已经创建了/usr/java目录，没有创建则需要创建。

然后修改三台机器的环境变量（每台机器都需要执行）

vi /etc/profile

加入以下内容：

JAVA_HOME=/usr/java/jdk1.8.0_20

export JRE_HOME=/usr/java/jdk1.8.0_20/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存文件，退出后执行命令：source /etc/profile

java -version 查看java版本，确保java环境变量配置成功。

2.安装hadoop分布式

登录master节点

将hadoop2.7.2.tar.gz文件上传到/home/hadoop/目录下。

执行解压命令:tar -zxvf hadoop2.7.2.tar.gz

添加hadoop环境变量：

vi /etc/profile

加入以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$PATH

保存文件，执行命令: source /etc/profile

修改hadoop配置文件：

进入到$HADOOP/etc/hadoop目录下

配置hadoop-env.sh中的JAVA_HOME路径

JAVA_HOME=/usr/java/jdk1.8.0_20

配置yarn-env.sh

JAVA_HOME=/usr/java/jdk1.8.0_20

配置slaves

将node1和node2的节点名字加入到该文件中

vi slaves

node1

node2

保存并退出。

使用root用户对hadoop2.7.2目录改变所有者，改为hadoop用户：

chown -R hadoop.hadoop /home/hadoop/hadoop-2.7.2

切换到hadoop用户，然后cd /home/hadoop/hadoop-2.7.2目录下

执行命令创建以下目录：

mkdir tmp

mkdir hdfs

mkdir hdfs/name

mkdir hdfs/data

配置core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/tmp</value>

</property>

<name>io.file.buffer.size</name>

</property>

配置hdfs-site.xml

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/hdfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:50090</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<property>
<name>dfs.blocksize</name>
<value>268435456</value>
<description>HDFS blocksize of 256MB for large file-systems.</description>
</property>

cp mapred-site.template mapred-site.xml

修改mapred-site.xml配置

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

修改yarn-site.xml：配置

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>


<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>Configuration to enable or disable log aggregation.Shuffle service that needs to be set for Map Reduce applications.</description>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>