Spark on k8s部署-优快云博客

一、环境准备

1.安装Jdk1.8

（1）Jdk1.8下载地址：https://www.oracle.com/java/technologies/downloads/archive/

将压缩包解压到/opt/目录

tar zxf jdk-8u212-linux-x64.tar.gz -C /opt/

（2）配置环境变量

编辑配置文件，vi /etc/profile，添加以下内容

#jdk1.8.0_121
export JAVA_HOME=/opt/jdk1.8.0_212
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

（3）添加jdk安全认证

引入如下三个包
在这里插入图片描述

并在java.security文件中添加配置 security.provider.10=org.bouncycastle.jce.provider.BouncyCastleProvider
在这里插入图片描述

2、获取Spark安装包文件

（1）使用wget命令下载Spark v3.2.3安装包文件。

wget https://archive.apache.org/dist/spark/spark-3.2.3/spark-3.2.3-bin-hadoop3.2.tgz

（2）解压并重命名

tar -zxvf spark-3.2.3-bin-hadoop3.2.tgz -C /opt/module
mv spark-3.2.3-bin-hadoop3.2 spark-3.2.3

3、初始化K8s环境

（1）创建metaSphere Namespace

编写metaSphere-namespace.yaml

vi metaSphere-namespace.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: metasphere
  labels:
    app.kubernetes.io/name: metasphere
    app.kubernetes.io/instance: