
flink
文章平均质量分 64
BatmanWayne
看的越多,越不敢写代码。
展开
-
Flink学习(九)-jar 包提交给 flink 集群执行
执行后,依旧在浏览器的 webUI 中,看相关信息即可。在命令行中,在flink 的安装目录下,执行。原创 2024-04-25 16:10:59 · 1155 阅读 · 4 评论 -
Flink学习(八)-Flink 集群搭建
装好 jdk 等必要的组件。注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip具体方法。原创 2024-04-23 16:18:27 · 1339 阅读 · 3 评论 -
Flink学习(七)-单词统计
Flink是流批一体的框架。因此既可以处理以流的方式处理,也可以按批次处理。原创 2024-04-21 22:04:19 · 606 阅读 · 1 评论 -
Flink学习(六)-容错处理
快照– 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针(例如,到文件或 Kafka 分区的偏移量)以及每个作业的有状态运算符的状态副本,该状态副本是处理了 sources 偏移位置之前所有的事件后而生成的状态。Checkpoint– 一种由 Flink 自动执行的快照,其目的是能够从故障中恢复。Checkpoints 可以是增量的,并为快速恢复进行了优化。外部化的 Checkpoint– 通常 checkpoints 不会被用户操纵。原创 2024-04-16 20:56:11 · 983 阅读 · 0 评论 -
Flink学习(四)-数据管道 & ETL
只适用于一对一的转换,即对每个进入算子的流元素,map()将仅输出一个转换后的元素。flatmap()可以输出任意数量的元素,也可以一个都不发。原创 2024-04-07 14:35:34 · 684 阅读 · 0 评论 -
FLink学习(三)-DataStream
Flink 自带有Tuple0到Tuple25类型Flink 可识别为 POJO 的条件如下。原创 2024-04-03 09:51:46 · 924 阅读 · 0 评论 -
Flink学习(二)-基础概念
关注事件本身发生的顺序而不是事件被传输以及处理的顺序;记录在数据流中的事件时间的时间戳,而不是处理数据的机器时钟的时间戳。原创 2024-04-02 11:28:53 · 691 阅读 · 0 评论 -
Flink学习(一)-flink 本地部署
官网推荐 jdk11 版本。我用 17也可以跑起来。原创 2024-03-29 11:20:00 · 1143 阅读 · 0 评论