
flink
文章平均质量分 54
学庭
沉下心来钻研,别浮躁就行。
展开
-
Flink Graph
Flink Graph早期,Batch和Stream的图结构和优化方法有很大的区别,所以批处理使用OptimizedPlan来做Batch相关的优化,使用StreamGraph表达流计算的逻辑,最终都转换为JobGraph,实现了流批的统一。流计算应用的Graph转换 对于流计算应用来说,首先将DataStreamAPI的调用转换为Transformation,然后经过StreamGraph->JobGraph->ExecutionGraph3层转换(Flink内置的数据结构),最后经过原创 2021-01-26 16:55:55 · 862 阅读 · 0 评论 -
Flink运行框架
Flink集群采用Mater-Slave架构,Master的角色是JobManager,负责集群和作业管理,Slave的角色是TaskManager,负责执行计算任务。除此之外,Flink还提供了客户端来管理集群和提交任务,其中JobManager和TaskManager是集群的进程,Flink客户端是在集群外部执行的进程,不是集群的一部分。1.Flink客户端Flink客户端是Flink提供的CLI命令行工具,用来提交Flink作业到Flink集群,在客户端中负责Stream Graph(流图)和Jo原创 2021-01-23 11:56:12 · 224 阅读 · 1 评论 -
关于Flink命令的参数说明
英文好,理解强的同学请看官方解释。觉得麻烦的同学,请先阅读文末笔者的笔记。官方解释如下:[yuaf@hadoop32 flink-yarn]$ bin/flink --help./flink <ACTION> [OPTIONS] [ARGUMENTS]The following actions are available:Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file&原创 2021-01-19 20:26:02 · 1760 阅读 · 0 评论 -
Flink编程套路
Flink由相同的基本部分组成(1)获取参数(可选)(2)初始化Stream执行环境(3)配置参数(4)读取外部数据(5)数据处理流程(6)将处理结果写入外部(7)触发执行原创 2020-12-25 08:47:58 · 168 阅读 · 0 评论