下一代工作流-数据管道

介绍：

在传统的数据开发中，做数据仓库和数据数据集市都采用ETL工具，例如kettle等，调度采用azkaban 或者自己写一套调度工具，可是这些都是需要花费大量时间和人员进行相关配置。一个数仓项目做下来至少要6个月左右。

那么随着目前数据湖，湖仓一体，批流一体的出现，ETL得过程不单单 是写sql,做关联那么简单，需要有一个数据管道进行集成，并且这个管道是”现接现用“，就是需要动态配置。不是静态配置。

接下来介绍两款实时加工的管道工作流：Prefect 和Dagster 

最早工作流管道主要是Airflow ，但是是静态配置上下文，如果利用上层的datafrom.需要进行相关配置，而且支持不是很好，现在的工作流管道支持动态数据传递。

Prefect介绍：

Prefect 是一个 Python 的开源工作流程管理器，旨在简化和自动化数据工程、科学和分析任务的编排和执行。它提供了一个易于使用和可扩展的编程接口，可以帮助用户构建复杂的工作流程，并支持在各种环境中进行分布式执行，包括本地、云端和混合环境。Prefect 还提供了丰富的 API 和用户界面，让用户可以方便地管理和监控任务的执行状态和结果。通过使用 Prefect，用户可以更加高效和可靠地进行数据处理和分析工作。

prefect优势：

Prefect 是一个强大的工作流程管理工具，相较于其他类似的工具，它提供了多项优势。以下是 Prefect 相较于其他工作流程管理工具的几个优势：

1. Pythonic：Prefect 完全采用 Python 构建，这使得 Python 开发