weiguanpan3647的博客

Project Configuration 每个Flink应用都依赖一堆的FlinkLibraries, 下面就介绍Flink应用一般都使用什么lib 1. Flink Core and Application Dependencies: 用户应用一般有两个大类的依赖: Flink Core Dependencies: Flink自己的, 比如coordination, networking, checkpoints, failover, APIs, operations(比如windowing), res

Side Outputs 除了上个操作生成的mainStream, 我们也可以在操作里生产任意数量的侧输出流. 每个侧输出流里的类型也不用和主流一样. 每个侧输出流需要定一个OutputTag来标识. 提交数据给侧输出流可以通过很多function(operator), 输出到Context 里面 ProcessFunction KeyedProcessFunction CoProcessFunction KeyedCoProcessFunction ProcessWindowFunction Proces

DataSource 本文描述DataSourceAPI的概念和背后的架构, 如果想了解dataSource在Flink怎么工作 或者想实现一个dataSource. 1. DataSource 概念: 核心Components: Splits, the SplitEnumerator, SourceReader Split: 是一部分数据, 比如一个文件, 或者是一个log-partition. splits是原分配工作并行数据读取的粒度. SourceReader: 是用来读Splits的, 读spl

Flink Runtime Flink 运行时架构 Client: 提交Job JobManager: TaskManager: 角色间通讯(Akka): 数据的传输(Netty): 1. Slot 分配与共享 每个Task Manager OperatorChain: 每个task里面有1或者n个operator, 多个operator的时候就会购成operatorChain. 组...