
大数据flink
文章平均质量分 63
天才少年137
这个作者很懒,什么都没留下…
展开
-
Flink——表的创建,转换,输出
pom<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version></dependency><dependency> <groupId>org.apache.flink</group原创 2021-11-29 20:40:25 · 1694 阅读 · 0 评论 -
Flink——Table_API和Flink_SQL
简单案例应用pom文件:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version></dependency><dependency> <groupId>org.apache.fli.原创 2021-11-29 19:48:26 · 271 阅读 · 0 评论 -
Flink——状态管理
状态分类:算子状态(Operatior State);键控状态(Keyed State);状态后端(StateBackends)什么是状态1:由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态 2:可以认为状态就是一个本地变量,可以被任务的业务逻辑访问 3:Flink 会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑算子状态(Operator State) 1:算子状态的作用范围限定为算子任务,由同一并.原创 2021-11-26 15:55:40 · 1076 阅读 · 0 评论 -
Flink的时间语义和Watermark
事件处理会经过几个特殊时间:Event Time:事件创建的时间 Ingestion Time:数据进入Flink的时间 Processing Time:执行操作算子的本地系统时间,与机器相关原创 2021-11-20 21:47:25 · 1200 阅读 · 0 评论 -
Flink——窗口(window)
一:窗口(window)就是将无限流切割为有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析window类型:时间窗口(Time Window) ➢ 滚动时间窗口(Tumbling Windows):将数据依据固定的窗口长度对数据进行切分时间对齐,窗口长度固定,没有重叠➢ 滑动时间窗口 (Sliding Windows):滑动窗口是固定窗口的更广义的一种形式,滑动窗口由固定的窗口长度和滑动间隔组成。窗口长度固定,可以有重叠➢ 会话窗口(Session Win原创 2021-11-18 21:27:01 · 1341 阅读 · 0 评论 -
Flink流处理——Sink
1:Kafkapackage com.atguigu.sink;import com.atguigu.bean.SensorReading;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.D原创 2021-11-12 19:25:30 · 2409 阅读 · 0 评论 -
Flink流处理——Transform多流转换
Split 和 Selectsplit:DataStream → SplitStream:根据某些特征把一个 DataStream 拆分成两个或者多个 DataStream。 Select:SplitStream→DataStream:从一个 SplitStream 中获取一个或者多个DataStreampackage com.atguigu.transfrom;import com.atguigu.bean.SensorReading;import org.a原创 2021-11-12 17:57:58 · 1394 阅读 · 0 评论 -
Flink流处理——Transform分组聚合
1:map,flatMap,Filterpackage com.atguigu.transfrom;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.fl原创 2021-11-10 22:01:31 · 2565 阅读 · 0 评论 -
Flink流处理——Source
一:流处理创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则 此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法 返回此集群的执行环境,也就是说,getExecutionEnvironment 会根据查询运行的方 式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvi...原创 2021-11-10 20:26:50 · 296 阅读 · 0 评论 -
Flink运行架构分析
运行时组件作业管理器(JobManager) 1:控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的 JobManager 所控制执行。 2:JobManager 会先接收到要执行的应用程序,这个应用程序会包括:作业图 (JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类,库和其它资源的jar包。 3:JobManager 会把JobGraph转换成一个物理层面的数据流...原创 2021-11-09 23:26:31 · 627 阅读 · 0 评论