（转载）数据管道（data pipeline）与ETL管道（ETL pipeline）的区别

数据管道与ETL管道，这两个词的意义是相近的，差别比较微小，有时候很多人会混用。

ETL管道，描述的是一组进程，实现将数据从一个系统抽取出来，经过转换，最终再加载到其他数据库或数据仓库中。

数据管道，是一个比ETL管道更加通用的术语，只要是实现系统之间的数据迁移的处理过程，都可以使用这个词来代表。迁移过程中可能存在着数据转换。

ETL管道，一般描述的是在批处理中使用的管道，例如：某个管道运行频率是每12小时执行一次，而数据管道页可以以流式计算的形式来执行，流式计算意味着任何事件在发生时才被处理。

数据管道的一种类型，ETL管道：加载你的全部数据加载到数据仓库中，稍后再做转换。

另外，数据管道并不一定以将数据加载到数据库或数据仓库为结束，举个例子，它页可以通过webhook的方式来触发其他业务系统的业务流程。