Apache Flink是分布式大数据处理引擎，擅长处理有界和无界数据流。本文介绍了流处理概念、有界与无界数据流的区别，并详细讲解了Flink中的时间窗口、翻滚窗口、滑动窗口和会话窗口，强调了窗口在无界数据流处理中的重要性。
Apache Flink是一个框架和分布式大数据处理引擎，可对有界数据流和无界数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。
Flink基本概念
流处理：特点是无限、实时，无需针对整个数据集执行操作，而是通过对系统传输的每个数据项执行操作，一般用于实时统计。
有界数据流：有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。
无界数据流：有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是必须在获取后立即处理event。
处理无界数据通常要求以特定顺序(如事件发生的顺序)获取event，以便能够推断结果完整性。
个人认为，与Spark相比，Spark在生态总体上更加完善，在机器学习的集成以及易用程度更为领先，但Flink在流计算上有着明显优势且其核心架构和模型
最低0.47元/天 解锁文章
扫一扫
825
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
