温故而知新
关注
分享
扫一扫
文章平均质量分 52
understand the present by reviewing the past
SmallScorpion
Look at the world with reptiles and write code for the rest of your life;
Illuminate the stars with data and conquer the sea with technology
展开
-
【FLINK】浅谈Flink中对于乱序数据处理保证
浅谈Flink中对于乱序数据处理保证原创 2022-03-02 16:39:37 · 2091 阅读 · 0 评论 -
【FLINK】浅谈Flink中WaterMark在分布式环境下的传递
我们大多数的工作环境所搭建的都是分布式集群模式，那么从上一篇中我们了解了WaterMark的原理。现在在分布式的并行处理下，两个Task同时处理数据时他们所在Task的WaterMark是不相同的，Flink是如何保证WaterMark正常运行的呢。定义数据流及并行任务的数据流向，这里的延迟我们依然设置成3秒第一次处理数据第二次处理数据Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现。...原创 2022-03-01 21:42:51 · 1567 阅读 · 0 评论 -
【FLINK】浅谈Flink中WaterMark原理和特点
首先我们需要知道当Flink以Event Time(事件时间) 模式处理数据时。Flink会以处理的数据自身所带的时间戳来对代码中基于时间的算子进行逻辑和计算。WaterMark为单调递增的一个特殊的数据定义一条数据流定义窗口和WaterMark第一条数据第二条数据第三条数据第四条数据第五条数据第六条数据第七条数据第八条数据第九条数据第十条数据第十一条数据第十二条数据第十四条数据通过暴力的画图已经有了一个比较清晰的了解了对于Wat原创 2022-03-01 18:42:29 · 1424 阅读 · 0 评论 -
【FLINK】浅谈Flink中min()和minBy()的区别
浅谈Flink中min()和minBy()的区别原创 2022-02-28 20:26:27 · 876 阅读 · 0 评论 -
【SPARK】浅谈Spark数据读取并行度获取及数据分区存储
浅谈Spark数据读取并行度获取及数据分区存储原创 2022-02-15 15:27:30 · 1705 阅读 · 0 评论 -
【KAFKA】浅谈Kafka数据可靠性保证
浅谈Kafka数据可靠性保证原创 2022-01-04 20:24:39 · 1099 阅读 · 0 评论 -
【HADOOP】浅谈Yarn的工作机制
浅谈Yarn的工作机制原创 2021-12-19 15:23:36 · 995 阅读 · 0 评论 -
【HADOOP】浅谈Hadoop中MapReduce工作机制
浅谈Hadoop中MapReduce工作机制原创 2021-12-15 22:58:23 · 1649 阅读 · 0 评论 -
【HADOOP】浅谈DataNode工作机制
浅谈DataNode工作机制原创 2021-12-13 20:15:31 · 1514 阅读 · 0 评论 -
【ZOOKEEPER】浅谈Zookeeper工作机制
浅谈Zookeeper工作机制原创 2021-12-11 23:11:29 · 1098 阅读 · 0 评论 -
【HADOOP】浅谈NameNode和SecondaryNameNode的工作机制
浅谈NameNode和SecondaryNameNode的工作机制原创 2021-12-10 21:19:01 · 743 阅读 · 0 评论 -
【SQL】SQL中简单的行转列题解
SQL行转列原创 2021-12-09 19:25:14 · 175 阅读 · 0 评论 -
【SCALA】Scala在windows安装及细节处理
第一步：这边下载的是windows 2.11.8版本scala的zip下载链接：https://www.scala-lang.org/download/2.11.8.html注意：如果安装的msi的在cmd提示你"此时不应有 \scala\bin\scala.bat"，注意你应该是把scala安装到了有空格的目录，毕竟默认安装目录是Program Files (x86)第二步： 解压后配置环境变量先创建SCALA_HOME的系统变量指定到scala的解压目录在进行系统的环境变量(path)配置原创 2021-12-09 16:43:08 · 1073 阅读 · 0 评论