merrily01的博客

--conf spark.kubernetes.executor.deleteOnTermination=false

1. 基于Dockerfile制作一个镜像： docker build -t docker tag docker push 2. 基于某个镜像启动一个pod： docker run -i -t repo.XX.local/centos/centos-jdk:7.5-XX

背景： 测试环境，基于spark-2.4.4代码，打镜像，供spark on k8s使用。 问题： 执行打包镜像命令，报错如下： docker build -t spark-2.4.4-merrily01-spark -f kubernetes/dockerfiles/spark/Dockerfile . ---> Running in 43e58e4f3a6f + ...

环境： spark:2.4.4 maven:apache-maven-3.6.2 java: 1.8 背景： 修改了spark源码，想基于此用spark的make-distribution.sh脚本重新打可部署的tar包，命令如下： ./dev/make-distribution.sh --name maruilei-spark --tgz -Phadoop-2.7 -Phiv...

自己在虚拟机上搭建了一个kubernetes测试集群，通过Spark官方文档，提交一个测试任务到kubernetes集群上执行，记录一下： 1. 提交命令： cluster模式： $ bin/spark-submit \ --master k8s://https://ip:port \ --deploy-mode cluster \ --name spark-pi ...

Spark On Kubernetes 通过cluster方式提交spark-submit example.jar包测试任务，driver-pod创建成功，任务失败，driver pod报错日志如下： External scheduler cannot be instantiated Caused by: io.fabric8.kubernetes.client.KubernetesClien...

环境： Spark版本： 2.4.3 Kubernetes版本：v1.16.2 问题： 提交spark-submit example.jar 以cluster方式到k8s集群，driver-pod报错如下： 19/11/06 07:06:54 INFO ExecutorPodsAllocator: Going to request 5 executors from Kubernetes...

Spark On Kubernetes 提交测试任务，driver pod 报错日志，如下： 19/11/06 07:38:05 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 19/11/06 07:38:05 INFO SparkContext: S...

打包镜像： docker build -t spark-2.4.3-image-merrily01 -f kubernetes/dockerfiles/spark/Dockerfile . docker push XXX 遇到问题1： docker pushspark-2.4.3-image-merrily01 失败，报错： hadoop@master:/software/serv...