Flink
关注
分享
扫一扫
丿沐染烟忱丶
昨夜西风凋碧树，独上高楼，望尽天涯路！
衣带渐宽终不悔，为伊消得人憔悴！
众里寻他千百度。蓦然回首，那人却在灯火阑珊处！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink EventTime Window
EventTime Window Flink流计算传输中支持多种时间概念：ProcessingTime/EventTime/IngestionTime。 处理时间(Processing Time)：处理时间是指执行相应操作的机器的系统时间。 当流程序在处理时间上运行时，所有基于时间的操作(如时间窗口)将使用运行各自操作符的机器的系统时间。 处理时间是最简单的时间概念，不需要流和机器之间的协调。...原创 2020-03-13 16:51:15 · 372 阅读 · 0 评论 -
Flink Window--Evictors(剔除器)
Evictors Flink的窗口模型允许除了WindowAssigner和Trigger之外还指定一个可选的Evictor。可以使用evictor(…)方法完成此操作。Evictors可以在触发器触发后，应用Window Function之前或之后从窗口中删除元素。 public interface Evictor<T, W extends Window> extends Seria...原创 2020-03-13 11:52:29 · 561 阅读 · 0 评论 -
Spark Windows--Assigners(分配器)、Functions(窗口函数)、Trigger(触发器)
Windows 窗口计算是流计算的核心，窗口将流数据切分成有限大小的“buckets”，我们可以对这个“buckets”中的有限数据做运算。 Windows are at the heart of processing infinite streams. Windows split the stream into “buckets” of finite size, over which we c...原创 2020-03-12 22:58:57 · 988 阅读 · 0 评论 -
Flink DeltaTrigger简单版
object FlinkDeltaTrigger { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment //创建DeltaTrigger val deltaTrigger = DeltaTrigger.of[(String...原创 2020-03-12 22:56:03 · 668 阅读 · 0 评论 -
Flink Queryable State小结
Queryable State的功能目前是beta版本，flink1.7的发行版默认没有开启，要开启的话，需要将flink-queryable-state-runtime_2.11-1.7.0.jar拷贝到/opt/flink/lib/目录下，这样子task manager启动的时候会打印诸如Started Queryable State Proxy Server @ /172.20.0.3:9...原创 2020-03-11 18:51:52 · 324 阅读 · 0 评论 -
Flink Queryable State
Queryable State Archiecture Client连接其中的⼀个代理服务器然后发送查询请求给Proxy服务器，查询指定key所对应的状态数据，底层Flink按照KeyGroup的⽅式管理Keyed State，这些KeyGroup被分配给了所有的TaskMnager的服务。每个TaskManage服务有多个KeyGroup状态的存储。为了找到查询key所在的KeyGroup所属地...原创 2020-03-11 18:41:08 · 686 阅读 · 1 评论 -
Flink Broadcast State Pattern
Broadcast State Pattern(广播状态) 广播状态是Flink提供的第三种状态共享的场景。通常需要将一个吞吐量比较小的流中状态数据进行广播给下游的任务，另外一个流可以以只读的形式读取广播状态。 使用场景： DataStream链接BroadcastStream //仅仅输出满足规则的数据 object FlinkBroadcastNonKeyStream { def ma...原创 2020-03-11 11:58:20 · 305 阅读 · 0 评论 -
Flink State&Fault Tolerance
State&Fault Tolerance Flink是一个基于状态计算的流计算服务。Flink将所有的状态分为两大类：keyed state与operator state,所谓的keyed state指的是Flink底层会给每一个key绑定若干个类型的状态值。通常特指操作KeyStream中所涉及的状态。所谓operator state指的是非keyed stream中所涉及状态称为op...原创 2020-03-10 21:06:06 · 266 阅读 · 0 评论 -
Flink Operators
Operators DataStream Transformations DataStream --> DataStream Map Takes one element and produces one element. A map function that doubles the values of the input stream 获取一个元素并生成一个元素。将输入流的值加倍的映射...原创 2020-03-06 19:10:09 · 284 阅读 · 0 评论 -
Flink KafkaSink
Kafka集成 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.10.0</version> </dependency> ...原创 2020-03-06 17:10:42 · 2200 阅读 · 0 评论 -
Flink Source、Sink
程序部署 本地执行 //1.创建流计算执行环境 val env = StreamExecutionEnvironment.createLocalEnvironment(3) //2.创建DataStream val text = env.socketTextStream("train",9999) //3.执行DataStream的转换算子 val co...原创 2020-03-05 21:51:09 · 284 阅读 · 0 评论 -
Flink-基础扫盲、安装、快速入门
概述 Flink是构建在数据流之上的一款有状态计算的流计算框架，通常被人们理解为是第三代大数据分析方案。 第一代：基于Hadoop的MapReduce计算(静态)、Storm流计算(2014.9)；两套独立的计算引擎，使用难度大 第二代：Spark RDD 静态批处理(2014.2)、DStream|Structured Streaming流计算；统一的计算引擎，难度系数小 第三代：Flink D...原创 2020-03-04 18:37:38 · 459 阅读 · 0 评论