flink 基本

博客介绍了Flink项目的初始化命令,如使用flink run、yarn - session.sh等。还阐述了Flink的窗口概念,包括翻滚时间窗口、滑动时间窗口等。此外,详细说明了StreamGraph、JobGraph、ExecutionGraph和物理执行图的生成及作用,以及DataStream上常见的transformation。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

flink run /opt/flink-1.7.2/examples/batch/WordCount.jar -input hdfs://192.168.13.128:9000/input/myfile.txt -output hdfs://192.168.13.128:9000/output/result.txt

flink run ./SocketWindowWordCount.jar --port 9000

 

yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
yarn application -kill application_1554952543204_0004

 

这个命令可以用来初始化一些flink项目,需要再maven里面修改flink的版本

mvn archetype:generate     -DarchetypeGroupId=org.apache.flink    -DarchetypeArtifactId=flink-quickstart-java    -DarchetypeVersion=1.0.0
 

 

flink stream的print是通过taskmanager打出来的,所以再client上是看不到的
翻滚时间窗口(Tumbling Time Window),每一分钟一个处理   timeWindow(Time.minutes(1))
Sliding Time Window,每30秒计算一次前一分钟的数据 timeWindow(Time.minutes(1), Time.seconds(30))

countWindow(100)   Tumbling Count Window
.countWindow(100, 10)   Sliding Count Window

多少秒没有活动则主动断开
ProcessingTimeSessionWindows.withGap(Time.seconds(30))

关于窗口有三个概念
Assigner, Trigger, Evictor
分配,触发,驱逐


所有的元素进来的时候都会经过Assigner,一个消息可以分配给不同的window,window看上去就是一个ID,保存的时候类似于一个id到具体内容的哈希

TaskManager(TM)在启动时,会先初始化NetworkEnvironment对象,TM 中所有与网络相关的东西都由该类来管理(如 Netty 连接)
StreamGraph:是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
JobGraph:StreamGraph经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。主要的优化为,将多个符合条件的节点 chain 在一起作为一个节点,这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
ExecutionGraph:JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本,是调度层最核心的数据结构。
物理执行图:JobManager 根据 ExecutionGraph 对 Job 进行调度后,在各个TaskManager 上部署 Task 后形成的“图”,并不是一个具体的数据结构。

StreamGraph 是在 Client 端构造

DataStream 上常见的 transformation 有 map、flatmap、filter等(见DataStream Transformation了解更多)。这些transformation会构造出一棵 StreamTransformation 树,通过这棵树转换成 StreamGraph。比如 DataStream.map源码如下,其中SingleOutputStreamOperator为DataStream的子类:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值