Hadoop 集群cluster搭建

最新推荐文章于 2025-05-06 11:03:23 发布

weixin_34310785

最新推荐文章于 2025-05-06 11:03:23 发布

阅读量234

点赞数

CC 4.0 BY-SA版权

文章标签：大数据运维 java

原文链接：https://my.oschina.net/shawnplaying/blog/618734

本文详细介绍了一个Hadoop集群的搭建过程，包括Java安装、SSH及RSYNC配置、环境变量设置及各节点的具体配置步骤。适用于希望了解Hadoop集群部署的技术人员。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop集群cluster环境的搭建，可以参考官方文档：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

2015-12 搭建Hadoop cluster环境于公司云环境，这里云环境中，每台机器有两个IP，一个是云环境内其本身的IP，另一个是我们访问云端服务器使用的IP。而Hadoop的配置主要使用的是其本身的IP。

hosts如下：

192.168.0.8 hadoop1

192.168.0.16 hadoop2

192.168.0.12 hadoop3

192.168.0.15 hadoop4

其中hadoop1位master，其余为slave。hadoop1中配置namenode和resourcemanager，其他作为slave配置datanode和nodemanager。

搭建过程如下：

首先暗转Java，下载hadoop安装包。

安装ssh和rsync。

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

使用ssh-keygen命令生成密钥并配置这四台服务器，使得他们可以两两无密码ssh访问。因为在hadoop启动停止等操作时，会由master通过ssh方式访问各个slave。所以要保证他们可以ssh直接访问。

配置环境变量：

export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=/usr/java/jdk1.7.0_79/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/apphome/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_PREFIX=/apphome/hadoop

然后就是每台服务器的hadoop自身的配置了，配置文件目录：$HADOOP_HOME/etc/hadoop

配置Hadoop中的环境变量，在hadoop-env.sh，mapred-env.sh和yarn-env.sh中配置JAVA_HOME。

每台机器上增加文件slaves

[appadmin@hadoop2 hadoop]$ cat slaves
hadoop2
hadoop3
hadoop4

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/apphome/hd/fstmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/apphome/hd/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/apphome/hd/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

访问：http://10.120.20.208:50070/dfshealth.html#tab-overview

本文不是搭建环境时撰写，需要在以后搭建环境时再次验证。

转载于:https://my.oschina.net/shawnplaying/blog/618734