monkeyboy_tech的博客

版本yarn 2.6.0k8s v1.15.2背景随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间，但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExe

随着大数据时代的到来，以及kubernetes的愈发火热，好多公司已经把spark应用从yarn迁移到k8s，当然也踩了不少的坑， 现在我们来分析一下spark on k8s的DynamicResourceAllocation这个坑注意：该文基于spark 3.0.0分析spark on yarn 中的DynamicResourceAllocationspark on yarn对于DynamicResourceAllocation分配来说，从spark 1.2版本就已经开始支持了.对于.

背景 随着k8s快来越火热，以及自动部署，自动伸缩等优点，我们今天来探讨一下，基于k8s的backend的调度怎么来实现组件图组件说明整个数据流就是消费者-生产者模型组件解释kubernetesClient跟k8s进行交互，如:任务的提交,杀任务podsPollingSnapshotSource从k8s中拉取pod的任务状态,存储到podSnapshotStorepodsWatchSnapshotSource监控任务的watcher，以获取任务状态，存储