24、优化Kubernetes分析工作负载：替代调度器与分析引擎

优化Kubernetes分析工作负载：替代调度器与分析引擎

1. 避免使用默认调度器

在考虑生产环境部署分析工作负载时，应避免使用默认的 kube-scheduler 调度器，因为它并非为此类需求设计。选择更合适的调度器能让你的 Kubernetes 体验更具前瞻性。接下来将介绍一些替代调度器及其亮点。

2. Apache YuniKorn

• 起源与背景 ：YuniKorn 项目由 Cloudera 的工程师创建，源于他们在处理 Spark 分析工作负载时遇到的操作难题。秉持开源社区解决问题的精神，YuniKorn 于 2020 年被捐赠给 Apache 软件基金会，并成为孵化项目。其名称源于它所支持的两个系统：YARN 和 Kubernetes。
• 功能与架构
  • 资源管理 ：从 Spark 集群管理的角度出发，满足分析工作负载的特定资源管理和用户控制需求，同时也为 TensorFlow 和 Flink 作业提供了相同级别的资源控制。
  • 安装方式 ：使用 Helm 在 Kubernetes 中安装 YuniKorn，其目标是将 Kubernetes 集群转变为对批量作业资源需求友好的环境，关键在于替换默认的 kube-scheduler 。
  • 工作流程 ：当新的资源请求通过 spark-submit <