Spark 完全分布式集群搭建过程及启动过程

最新推荐文章于 2024-07-17 19:12:33 发布

原创

最新推荐文章于 2024-07-17 19:12:33 发布 · 965 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #centos #分布式 #spark

声明

1）该文章整理自网上的大牛和专家无私奉献的资料，具体引用的资料请看参考文献。
2）本文仅供学术交流，非商用。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。
4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。

一：实验环境

1.1 服务器上启动三台虚拟机
root@master  11.24.24.111  master
root@slave1  11.24.24.112  slave1
root@slave2  11.24.24.113   slave2


1.2 软件版本：
hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2

修改主机名和hosts
1.1 更改主机名
root@master:~$ sudo vim /etc/hostname
改成master //其他两个分别改为slave1 和slave2
注意：主机名全部以小写字母开头，后文在配置环境时注意不要误用大写！

1.2 修改hosts
root@master:~# sudo vim /etc/hosts
修改hosts  需要将注释的所有127.0.0.1以及locahost 取消注释！！！！不然子节点无法启动
//将原文件（127.0.0.0 localhost）下面添加以下信息：
11.24.24.111  master
11.24.24.112  slave1
11.24.24.113   slave2

//退出后重启虚拟机
root@master:~# sudo reboot

//分别对集群中的所有节点进行以上相似的设置

二：安装基础环境（Java和scala）

对所有节点安装java和scala

2.1 Java环境搭建
1）下载jdk-1.8并解压到 /usr/local

root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/

2）添加java环境变量，在/etc/profile中添加：

root@master:~$ sudo vim /etc/profile

export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

3）保存后刷新配置
[root@master ~]# source /etc/profile

4）使用java -version命令确认
[root@master ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)


2.2 scala环境搭建
1）下载scala安装包scala2.13.2.tgz安装到 /usr/local/

root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
root@master:~$ mv scala2.13.2  scala
2）添加Scala环境变量，在/etc/profile中添加：

root@master:~# sudo vim /etc/profile

export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

3)保存后刷新
root@master:~# source /etc/profile

4）使用scala -version命令确认
[root@master ~]# scala -version

Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

三：ssh无密码验证配置

-对所有节点安装ssh
root@master:~$ sudo yum install ssh

3.1 配置master无密码登录所有slave
以下是在master节点上执行以下命令：
1）在master节点上生成密码对
ubuntu@master:~$ ssh-keygen -t rsa -P ''

// Enter 继续
//生成的密钥对：id_rsa和id_rsa.pub存储在” ~/.ssh”目录下(注意可能会不同)

2）把id_rsa.pub追加到授权的key里面去
root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3）修改ssh配置文件”/etc/ssh/sshd_config”的下列内容
root@master:~$ sudo vim /etc/ssh/sshd_config

追加以下内容：
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile  %h/.ssh/authorized_keys


4) 重启ssh服务，才能使刚才设置有效
root