leehom的博客

弹性组件集成有弹性需求的组件，为组件增加高弹性容量，规划集成datax，elastic-job，xxl-job，sentinel dashboard，dolphinscheduer，eventbridgeelastic-job使用zookeeper实现分布式调度，支持分片，容错，但worker节点需预先启动，参与该作业的worker参与分片，节点规模需预先计算，启动相应数量的worker数。

设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现

弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发弹性资源组件关联的3个主要角色《flink原理源码分析(一) 集群与资源@k8s》 详细分析了flink集群与资源的源码和原理上图是场景视图，按领域分，

集群是资源的载体，弹性资源基础是弹性的集群，弹性资源集群架构采用master-worker，首先启动master，master包括资源消费者，资源管理器，master是弹性的决策器，控制worker的部署和释放

设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现

设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现

弹性组件集成有弹性需求的组件，为组件增加高弹性容量，规划集成datax，elastic-job，xxl-job，sentinel dashboard，dolphinscheduer，eventbridgedatax datax基于社区版，此前已对datax进行重构，增加其metrics exporter，分布式特性，分布式模型是基于启动的worker分配，固定的worker数量，如果分片少，浪费资源；分片多，资源不足，只有排队等待。