
beam
一只IT小小鸟
还有很多未完成的梦,怎能停下脚步,加油!
展开
-
Apache Beam -- 简介
概述在大数据的浪潮之下,技术的更新迭代十分频繁。受技术开源的影响,大数据开发者提供了十分丰富的工具。但也因为如此,增加了开发者选择合适工具的难度。在大数据处理一些问题的时候,往往使用的技术是多样化的。这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交互的Spark SQL等等。而把这些开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度,可...原创 2019-02-14 19:56:12 · 25407 阅读 · 2 评论 -
Apache Beam -- 编程指南
指南Beam Programming Guide适用于希望使用Beam SDK创建数据处理流水线的Beam用户。 它为使用Beam SDK类构建和测试管道提供了指导。 它不是一个详尽的参考,而是作为一种语言无关的高级指南,以编程方式构建您的Beam管道。概述要使用Beam,您需要首先使用其中一个Beam SDK中的类创建驱动程序。 您的驱动程序定义了您的管道,包括所有输入,转换和输出;...原创 2019-02-19 20:47:12 · 1779 阅读 · 0 评论