流式计算框架flink
关注
分享
扫一扫
gqy_sea
数据开发
展开
-
Flink消费kafka中的数据(scala版)
kafka依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></dependency>核心代码：import org.apache.flink.api.common原创 2021-08-05 14:05:52 · 1408 阅读 · 0 评论 -
Flink中解决乱序数据丢失问题Watermark(scala版)
1）.尽可能将最大乱序程度作为assignTimestampsAndWatermarks的值，这样可以保证数据不丢失，如果设置过大会影响实时性.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[ApacheLogEvent](Time.seconds(1)) { //最大乱序程度，更加要处理的数据来查看 override def extractTimestamp(element: ApacheLog原创 2021-08-05 13:30:47 · 1855 阅读 · 0 评论