总结之数据清洗框架技术选型探索（Kestra + Airbyte + dbt、Temporal+SeaTunnel+dbt等）

核心需求

1. 成熟、可靠
2. 轻量级
3. 开源
4. 支持跨数据库的数据同步
5. 允许通过 SQL 进行数据清洗
6. 最好有界面（但轻量级）
7. 支持增量、全量清洗
8. 支持自定义条件维度清洗
9. 支持并行

目前实践验证的四个方案

方案一：Kestra + Airbyte + dbt

Kestra + Airbyte + dbt 是当前现代数据栈（Modern Data Stack）中最经典、最强大、最推荐的“黄金三角”组合。
这三者各司其职，协同工作，能够构建一个端到端自动化、高可靠、易维护的数据管道，覆盖从 数据抽取 → 加载 → 转换 → 编排 → 监控 的完整生命周期。

为什么 Kestra + Airbyte + dbt 是“黄金组合”？

工具	角色	解决的问题
Airbyte	数据集成（EL）	从 300+ 源（数据库、API、文件）抽取（Extract）和加载（Load） 原始数据到数据仓库
dbt	数据建模（T）	在数据仓库内用 SQL 进行清洗、转换、建模、测试、文档化
Kestra	流程编排与调度（Orchestration）	协调三者顺序：先 Airbyte 同步，再 dbt 转换，失败通知，定时调度，提供可视化 DAG

🎯 它们共同实现了真正的 ELT（Extract-Load-Transform）架构，并将其自动化、可视化、可维护化。

Airbyte (⭐ 13.8k)
●优势：最强连接器生态：300+ 开箱即用的 Source/Destination 连接器。
○完美支持 SQL 清洗：深度集成 dbt，实现标准 ELT 流程。
○优秀 Web 界面：可视化配置、监控、管理任务，用户体验极佳。
○成熟可靠：企业广泛使用，社区活跃。
○云原生：Docker/K8s 友好，部署灵活。
●劣势：相对“重”：依赖 Docker，组件较多（Web Server, Worker, Database）。
○开源版无高级调度（需商业版）。
●匹配度（符合“ 易用 + SQL 清洗”）

三者如何协同

实际集成示例（Kestra Flow YAML）

id: el-t-pipeline
namespace: com.company.data
labels:
  team: data-engineering

tasks