在Kubernetes 集群使用 SPARK

增加权限

kubectl create rolebinding default-admin --clusterrole=admin --serviceaccount=default:default --namespace=default

Cluster 模式 测试

开启代理

# kubectl proxy
Starting to serve on 127.0.0.1:8001

spark-pi

bin/spark-submit \
    --master k8s://http://127.0.0.1:8001 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=1 \
    --conf spark.kubernetes.container.image=zhixingheyitian/spark:spark2.4.1 \
    /opt/spark/examples/jars/spark-examples_2.11-2.4.1.jar

注意是http 不是 https
如果是https 会报一下错误

Caused by: javax.net.ssl.SSLEx