[Flink课程]---- 2.1 编程模型

本文详细介绍了Flink的基本编程模型,包括Stateful Stream Processing、Core APIs(DataStream、DataSet)和Table & SQL。同时,阐述了Flink构建流程的关键步骤,如构建计算环境、设置Source和Sink、窗口操作、时间类型、状态管理和容错机制(checkpoint和savepoint)等,帮助读者全面了解Flink的实战应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、Flink基本编程模型

 

1、Stateful Stream Processing

  • 它位于最底层, 是core API 的底层实现;推荐学习时使用,生产中以稳定为主,不建议使用。
  • processFunction:开发复杂、比较灵活,刚开始学习时,不推荐使用。
  • 利用低阶 API,构建一些新的组件(比如:利用其定时做一定情况下的匹配和缓存)
  • 灵活性高,但开发比较复杂。

2、Core APIs

  • DataStream
  • DataSet

3、Table & SQL

  • SQL 构建在Table 之上,都需要构建Table 环境。
  • 不同的类型的Table 构建不同的Table 环境。
  • Table 可以与DataStream或者DataSet进行相互转换。
  • Streaming SQL 不同于存储的SQL, 最终会转化为流式执行计 划。

二、Flink 构建的流程

1、构建计算环境(决定采用哪种计算执行方式)

datastream(无边界,死循环) 和 dataset(有边界,直到找到那个数据为止)

2、创建Source(可以多个数据源)

•对数据进行不同方式的转换(提供了丰富的算子)

•对结果的数据进行Sink(可以输出到多个地方)

注意:不能少写execute

3、Flink Dat

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值