merrily01的博客

--conf spark.kubernetes.executor.deleteOnTermination=false

1. 基于Dockerfile制作一个镜像：docker build -t docker tag docker push 2. 基于某个镜像启动一个pod：docker run -i -t repo.XX.local/centos/centos-jdk:7.5-XX

背景：测试环境，基于spark-2.4.4代码，打镜像，供spark on k8s使用。问题：执行打包镜像命令，报错如下：docker build -t spark-2.4.4-merrily01-spark -f kubernetes/dockerfiles/spark/Dockerfile . ---> Running in 43e58e4f3a6f+ ...

环境：spark:2.4.4maven:apache-maven-3.6.2java: 1.8背景：修改了spark源码，想基于此用spark的make-distribution.sh脚本重新打可部署的tar包，命令如下：./dev/make-distribution.sh --name maruilei-spark --tgz -Phadoop-2.7 -Phiv...

自己在虚拟机上搭建了一个kubernetes测试集群，通过Spark官方文档，提交一个测试任务到kubernetes集群上执行，记录一下：1. 提交命令：cluster模式：$ bin/spark-submit \ --master k8s://https://ip:port \ --deploy-mode cluster \ --name spark-pi ...

Spark On Kubernetes 通过cluster方式提交spark-submit example.jar包测试任务，driver-pod创建成功，任务失败，driver pod报错日志如下：External scheduler cannot be instantiatedCaused by: io.fabric8.kubernetes.client.KubernetesClien...

环境：Spark版本： 2.4.3Kubernetes版本：v1.16.2问题：提交spark-submit example.jar 以cluster方式到k8s集群，driver-pod报错如下：19/11/06 07:06:54 INFO ExecutorPodsAllocator: Going to request 5 executors from Kubernetes...

Spark On Kubernetes 提交测试任务，driver pod 报错日志，如下：19/11/06 07:38:05 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!19/11/06 07:38:05 INFO SparkContext: S...

打包镜像：docker build -t spark-2.4.3-image-merrily01 -f kubernetes/dockerfiles/spark/Dockerfile .docker push XXX遇到问题1：docker pushspark-2.4.3-image-merrily01 失败，报错：hadoop@master:/software/serv...