ApacheBeam，源自GoogleDataFlow，是用于定义和执行数据并行处理管道的项目，支持批处理和流处理的统一编程范式。通过 BeamSDK，用户可以构建在不同分布式计算引擎上执行的Pipeline，简化数据处理流程。BeamModel的四个关键维度包括数据计算、计算范围、输出时机和迟到数据处理。主要概念包括Pipeline、PCollection、Transforms和I/Osourcesandsinks。
你知道被认为继MapReduce、GFS、BigQuery等之后，Google在大数据处理领域对开源社区的又一大贡献是哪个项目吗？答案是ApacheBeam。事实上，“Beam”这个项目名称已经很清楚地表明了它的设计初衷——统一批处理（Batch）模式和数据流（Stream）处理模式的标准。今天，请跟随大圣众包威客平台的脚步，一起了解ApacheBeam到底有多炫！
一、ApacheBeam的用途与优势
原名GoogleDataFlow的ApacheBeam，是Google在2016年2月贡献给Apache基金会的Apache孵化项目。基于一种统一的模式的ApacheBeam，是用于定义和执行数据并行处理管道（pipeline）的，这些管理随带一套针对特定语言的SDK用于构建管道，以及针对特定运行时环境的Runner用于执行管道。
ApacheBeam项目的重点，在于数据处理的编程范式和接口定义，事实上，它
最低0.47元/天 解锁文章
扫一扫
1175
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
