本文介绍Apache Flink的数据集API编程，涵盖数据源(Source)、转换(Transformations)和目标(Sink)的基本概念。深入探讨了如何在Flink中使用数据源，包括实现SourceFunction、ParallelSourceFunction和RichParallelSourceFunction接口的方法。同时，提供了自定义Sink的总结，包括重写open/close生命周期方法及invoke方法。
DataSet API编程
DataSet API开发概述
Data Source
Transformation
Sink
Source：源/源头
reading files
local collections
Source ==> Flink（transformations）==> Sink
Sink：目的地
distributed）files
standard output
转换/算子
scala
基于flink编程的计数器开发三步曲
step1：定义计数器
step2：注册计数器
step3：获取计数器
Flink中使用数据源
StreamExecutionEnvironment.addSource（sourceFunction）
implementing the SourceFunction for non-parallel sources
implementing the ParallelSourceFunction interface
extending the RichParallelSourceFunction for parallel sources.
SourceFunction
ParallelSourceFunction
RichParallelSourceFunction
之间的关系
自定义Sink总结
1）RichSinkFunction<T> T就是你想要写入对象的类型
2）重写方法
open/close 生命周期方法
invoke 每条记录执行一次
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
