K8S 部署 spark

本文使用 bitnami 镜像部署 spark

官方文档：https://github.com/bitnami/charts/tree/main/bitnami/spark

添加 bitnami 仓库

helm repo add bitnami https://charts.bitnami.com/bitnami

自定义 values.yaml

• storageClass：集群的存储类，可以参考文章 k8s 安装本地 storageClass 或者
  K8S 集群使用 NFS 做 storageclass
• 开启 ingress 映射
• ingressClassName：配置 ingressClass，可以参考文章 k8s 配置 ingress 或者 k8s 配置 ingress
• 配置主从 ui 路由代理：告诉 Spark 反向代理 worker 和应用程序UI以启用访问，而无需直接访问其主机

global:
  storageClass: "nfs-client"
ingress:
  enabled: true
  ingressClassName: "nginx"
  hostname: "spark.saas.api.com"
master:
  configOptions:
    -Dspark.ui.reverseProxy=true
    -Dspark.ui.reverseProxyUrl=http://spark.saas.api.com
worker:
  configOptions:
    -Dspark.ui.reverseProxy=true
    -Dspark.ui.reverseProxyUrl=http://spark.saas.api.com

开始部署，例子是部署在名叫 spark 的命名空间里

helm install spark bitnami/spark -f values.yaml -n spark

部署需要等待一段时间，因为镜像比较大，有 1.67G

部署成功的示例图

Rancher 上可以看到 2 个 StatefulSets，一个是 master、一个是 worker

pod 有 3 个，master 有一个 pod，worker 有两个 pod

如果需要新增副本，可以配置 worker.replicaCount，默认是 2

成功访问