JackLi31742的博客

Apache Beam不是一个数据处理平台，本身也无法对数据进行处理。Beam 所提供的是一个统一的编程模型思想， Beam 编程模型会涉及到的 4 个概念，窗口、水印、触发器和累加模式 窗口（Window）：窗口将无边界数据根据事件时间分成了一个个有限的数据集。 水印（Watermark）：水印是用来表示与数据事件时间相关联的输入完整性的概念。对于事件时间为 X 的水印是指：数据处理逻辑已经得到...

和rdd不同，beam的transform可能是多个输入，多个输出，所有transform是节点，PCollection是边 Beam 中的 PCollection 有一个抽象的成员函数Apply。使用任何一个 Transform 时候，你都需要调用这个 apply 方法。 pcollection1 = pcollection2.apply(Transform) final_collectio...