JAVA1.7+Hadoop 2.7.3+Spark 2.1.0一主多从集群搭建_vim slaves需要删除localhost-优快云博客

本文详细介绍了如何在多节点环境下搭建JAVA 1.7、Hadoop 2.7.3 和 Spark 2.1.0 的集群。首先，进行集群初始化，接着在Master和Slave节点上配置JDK，搭建Hadoop环境并格式化，再将Hadoop配置复制到所有Slave节点。然后，安装Scala，配置Spark环境并启动Spark集群。最后，验证Hadoop和Spark集群的正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

0 集群信息及基本初始化

0.1 集群初始化

这一步主要是给机器生成SSH Key以及机器别名等配置，具体初始化操作请参考此文章的2.1节集群初始化设置。

0.2 集群信息

Hadoop/Spark Master为node8，其IP地址为：192.168.1.113。

Hadoop/Spark Slave为node2~node7和node8，即该集群有1主7从。

1 Hadoop 2.7.3环境搭建

1.1 下载JDK1.7、Hadoop2.7.3、Spark2.1.0包

mkdir homework
cd homework
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
wget http://distfiles.macports.org/scala2.10/scala-2.10.4.tgz
wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

注：JDK1.7需要从官方网站下载，并且可能需要账号登录，可以使用临时邮箱，临时邮箱网址：https://linshiyouxiang.net/，JDK 1.6~1.8下载网址。

1.2 解压JDK安装包

cd ~/homework
tar -xvf jdk-7u80-linux-x64.tar.gz

1.3 配置java环境(hadoop Master和Slave上都要做这一步操作)

vim ~/.bashrc #在该文件默认添加如下3行内容：
export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib
export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:$PATH
#注意：这并不是全局的JAVA配置，如果需要全局JAVA配置，请将上面3行内容添加到/etc/profile文件末尾
source ~/.bashrc #让配置生效

1.4 检查Java环境是否配置成功

java -version #配置成功则会输出：java version "1.7.0_80"

1.5 搭建hadoop 2.7.3环境（Hadoop Master中进行）

#1.5.1 解压
cd ~/homework && tar -xvf hadoop-2.7.3.tar.gz
#1.5.2创建相关目录
cd hadoop-2.7.3 && mkdir tmp && mkdir logs && mkdir hdfs && mkdir hdfs/data && mkdir hdfs/name
#1.5.3修改hadoop配置
cd ~/homework/hadoop-2.7.3/etc/hadoop
vim hadoop-env.sh #找到该文件中的export JAVA_HOME一行，将其修改为export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
vim yarn-env.sh #找到该文件中的export JAVA_HOME一行，将其修改为export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
vim slaves #删除localhost，将node2~node7和node9添加到该文件中
vim core-site.xml #找到该文件中的<configuration></configuration>标签对，添加以下内容：
<property>
    <name>fs.default.name</name>
    <value>hdfs://node8:9090</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/k8s/homework/hadoop-2.7.3/tmp</value>
</property>
#vim core-site.xml 结束
vim hdfs-site.xml #找到<configuration></configuration>标签对，添加以下内容：
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/k8s/homework/hadoop-2.7.3/hdfs/data