
Flink
文章平均质量分 92
在学习Flink的路上升级打怪
KledLi
这个作者很懒,什么都没留下…
展开
-
详解 Flink DataStream中min(),minBy(),max(),max()之间的区别
解释 官方文档中: The difference between min and minBy is that min returns the minimum value, whereas minBy returns the element that has the minimum value in this field (same for max and maxBy). 翻译: min和minBy之间的区别是min返回最小值,而minBy返回在此字段中具有最小值的元素(与max和maxBy相同)。原创 2020-06-10 11:47:56 · 1412 阅读 · 2 评论 -
Flink 集群搭建,Standalone,集群部署,HA高可用部署
基础环境 准备3台虚拟机 配置无密码登录 配置方法:https://ipooli.com/2020/04/linux_host/ 并且做好主机映射。 下载Flink https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 并解压缩 部署 Standalone Cluster 单机模式 启动 进入flink-1.10.1 文件夹内 直接执行: ./bin/start-cluster.s.原创 2020-06-22 17:31:05 · 968 阅读 · 0 评论 -
Flink Table Api & SQL 初体验,Blink的使用
概述 Flink具有Table API和SQL-用于统一流和批处理。 Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合来自关系运算符(例如选择,过滤和联接)的查询。 Flink的SQL支持基于实现SQL标准的Apache Calcite。无论输入是批处理输入(DataSet)还是流输入(DataStream),在两个接口中指定的查询都具有相同的语义并指定相同的结果。 Table API和SQL尚未完成所有功能,正在积极开发中,支持程度需查看 官方文档 使用 多原创 2020-06-20 11:46:47 · 920 阅读 · 2 评论 -
Flink 如何分流数据
场景 分流方式 如何分流 使用Filter分流 使用Split分流 使用Side Output分流 场景 获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。 举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。 分流方式 使用Filter分流 使用Split分流 使用Side Output分流 如何分流 先模拟一个实时的数据流 import lombok.Data; @Data pub..原创 2020-06-11 18:08:53 · 1975 阅读 · 1 评论