
flink
大D饲养员
余生那么长,等一等又何妨。
展开
-
flink1.11 学习篇--DataStream API
背景 对于大多数流数据处理应用程序而言,能够使用处理实时数据的代码重新处理历史数据并产生确定并一致的结果非常有价值。 在处理流式数据时,我们通常更需要关注事件本身发生的顺序而不是事件被传输以及处理的顺序,因为这能够帮助我们推理出一组事件(事件集合)是何时发生以及结束的。例如电子商务交易或金融交易中涉及到的事件集合。 为了满足上述这类的实时流处理场景,我们通常会使用记录在数据流中的事件时间的时间戳,而不是处理数据的机器时钟的时间戳 ...翻译 2020-07-13 19:45:26 · 687 阅读 · 0 评论 -
flink1.11 学习篇--流处理
总览: 如何实现流数据处理管道(pipelines) flink如何管理状态及为何需要状态管理 如何使用事件时间来一致并准确的进行计算分析 如何在流式数据构建事件驱动分析 如何提供具有exactly-one计算语义的可容错、有状态流处理 流处理 分析数据时,可以围绕有界流(bounded)或无界流(unbounded)两种模型来组织处理数据 批处理是有界数据流处理的范例。在这种模式下,你可以选择在计算结果输出之前输入整个数据集,这也就意味着你可以对整个数据集的数据进行排序、统计或汇总计..翻译 2020-07-13 17:37:46 · 1165 阅读 · 0 评论