Java ETL - Apache Beam 简介

基本介绍

Apache Beam是一个用于大数据处理的开源统一编程模型。它允许用户编写一次代码，然后在多个批处理和流处理引擎上运行，如Apache Flink、Apache Spark和Google Cloud Dataflow等。Apache Beam提供了一种简单且高效的方式来实现数据处理管道，支持复杂的数据流转换和并行处理。通过Apache Beam，用户可以编写可移植且具有弹性的数据处理应用程序，从而更轻松地处理大规模数据集并实现高性能的数据处理。

Apache Beam最初是由Google开发的。Google在内部使用类似的编程模型来处理大规模数据，并且在2016年将这个模型开源，成为Apache软件基金会的顶级项目，即Apache Beam。虽然Google是Apache Beam的最初贡献者之一，但现在这个项目已经得到了全球范围内的开发者和组织的贡献和支持，成为一个广泛采用的大数据处理框架。

SDK 和 Runner

其实Apache beam 只是1个SDK， 它支持在多个Runner 上部署和运行

也就是一次编写， 多个平台运行

Driver Program

在 Apache Beam 中，driver program（驱动程序）是指我们编写的控制整个数据处理流程的主要程序。它负责定义数据处理流水线（pipeline），包括指定输入数据源、数据转换操作以及输出目的地，同时还设置了执行选项，如 Pipeline Runner。

简单来讲就是我们所以写的定义流水线的代码了。

Apache Beam 支持 GO, Java 和 Python， 这个系列主要focus on Java.

<