我们的任务流调度是采用 Airflow，画出 DAG 之后再按序执行，其中 Etcd 是我们很重要的组件，所以封装出一个 Airflow 的 Etcd Operator，然后将任务写到 Etcd，而在集群里有个 Watcher 的程序会监听 Etcd 任务的 key，一旦发现就会通过 Spark Operator 的 Spark Application Client 把任务提交到 api-server。
【Spark Operator】集成Airflow
最新推荐文章于 2024-03-08 14:16:18 发布
本文介绍了一种使用Airflow结合Etcd进行任务流调度的方法，通过封装Airflow的EtcdOperator，将任务写入Etcd，利用Watcher监听并提交任务至api-server，实现高效的任务调度。
扫一扫
1260
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
