
Flink
文章平均质量分 81
sxiaobei
专注于互联网,大数据,分布式存储领域 邮箱13572258026@163.com
展开
-
Flink 基本工作原理
Flink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark streaming的功能,与Spark不同的是,Flink本质上只有stream的概念,batch被认为是special stream。Flink在运行中主要有三个组件组成,JobClient,JobManager 和 TaskMa...原创 2018-06-30 18:11:43 · 52085 阅读 · 10 评论 -
Flink之Watermark实践
我们知道实时计算中,数据时间比较敏感,有eventTime和processTime区分,一般来说eventTime是从原始的消息中提取过来的,processTime是Flink自己提供的,Flink中一个亮点就是可以基于eventTime计算,这个功能很有用,因为实时数据可能会经过比较长的链路,多少会有延时,并且有很大的不确定性,对于一些需要精确体现事件变化趋势的场景中,单纯使用processTi...原创 2018-07-21 21:24:17 · 6399 阅读 · 12 评论