
实时计算-Flink框架
文章平均质量分 84
数仓建设的发展趋势是批流一体化。基于native-streaming架构的flink是批流融合的一把尖刀。了解它,并掌握它,才能更好的走在时代的前沿。
piepis
DT时代的一块砖
展开
-
Flink典型应用场景
背景随着网络迅速发展,大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下,了解并熟悉Flink常用的三大典型应用场景,对于我们理解并使用Flink具有很大的帮助。事件驱动型应用事件驱动表示一个事件会触发另一个或者是很多个后续的事件,然后这一系列事件会形成一些信息,基于这些信息需要做一定的处理。通俗讲,事件驱动型应用是一类具有状态的应用,会根据事件流中的事件触发计算、更新状态或进行外部系统操作。常见于实时计算业务中,比如:实时推荐,金融反欺诈,实时规则预警等。常见的事件驱动型场景举例原创 2021-07-15 12:30:06 · 5372 阅读 · 1 评论 -
Flink的前世今生
什么是Apache Flink?Apache Flink是一个框架和分布式处理引擎,用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行,以内存速度和任何规模执行计算。追本溯源- Flink的昨天Flink 起源于 Stratosphere 项目,Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目。2014 年 4 月,Stratosphere 的代码被复制并捐献给了 Apache 软件基原创 2020-09-03 19:25:08 · 1742 阅读 · 0 评论 -
批流一体/流批融合
怎样理解批流一体/流批融合从 用户,运行,运维三个角度来看:用户: 当前用户在解决流计算和批计算总是将其分开,开发出两套api。流批一体需要解决的首要问题就是用一套逻辑来描述流与批业务。运行:当前作业总是流批二选一,要么是流作业,要么是批作业。流批统一后,流批选择是计算优化后的结果,同一个作业在不同的阶段呈现出流批两种特性。运维:当前架构需要运维多个架构,需要维护多个组件,多个系统。流批统一后,一个引擎就可以解决。...原创 2020-09-03 14:55:35 · 9673 阅读 · 0 评论