学习Flink1.14-第一章 简介

Flink是什么

基于数据流的状态计算
flink 的官方网址: https://flink.apache.org/.
Apache Flink是一个框架和分布式处理引擎,用于在无界数据流和有界数据流上进行有状态计算。Flink被设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。
在这里插入图片描述

流处理模式

流是数据的自然栖息地。无论是来自网络服务器的事件、来自证券交易所的交易,还是来自工厂车间机器的传感器读数,数据都是作为流的一部分创建的。但是,当您分析数据时,您可以围绕bounded或unbounded流组织您的处理,而您选择的这些范式中的哪一个会产生深远的影响
在这里插入图片描述
批处理是处理有界数据流时的范例。在这种操作模式下,您可以选择在生成任何结果之前提取整个数据集,这意味着可以对数据进行排序、计算全局统计数据或生成汇总所有输入的最终报告。
另一方面,流处理涉及无限数据流。至少从概念上讲,输入可能永远不会结束,因此您必须在数据到达时不断地对其进行处理。
在 Flink 中,应用程序由流式数据流组成,这些流式数据流可以由用户定义的操作符进行转换。这些数据流形成有向图,以一个或多个源开始,以一个或多个汇结束。
在这里插入图片描述

并行数据流

Flink 中的程序本质上是并行和分布式的。在执行过程中,一个流有一个或多个流分区,每个算子都有一个或多个算子子任务。算子子任务相互独立,在不同的线程中执行,可能在不同的机器或容器上执行。

算子子任务的数量是该特定算子的并行度。同一程序的不同运算符可能具有不同级别的并行度

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值