超级会员免费看
这篇博客探讨了在Flink中并行度对WaterMark传播的影响。当并行度设为4时，数据在不同分区间分配，导致WaterMark的最小值决定窗口关闭时间。通过例子解释了WaterMark如何广播和选择最小值传递，以及为何数据到达后不会立即输出结果。建议将WaterMark设置得更靠近数据源，如在Kafka源头添加。
然后我们再来测试一下,之前我们设置的并行度,可以看到都是1对吧,
现在我们把这个env.setParallelism(1)这个删除掉.
现在我们机器的核心是4核心,所以现在并行度就是4了.
然后我们去看看准备的数据,我们去掉,并行度为1 的,代码以后,我们再去测试一下看
这里,我们看看,如果,数据来源,是来至两个分区,也就是两个slot,两个任务的话,一个任务,
发送sensor_1这个数据,一个任务发送sensor_6这个数据,这个时候,肯定是没有问题的
对吧.
但是如果,sensor_1 和 sensor_6 是从同一个任务来的呢?可以看到这个时候,waterMark,
根据之前我们说的,就需要广播了对
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
