大数据分析篇之Flink

一. 简介

Flink 是一个状态流， 一个任务就是一个集群

二. 核心

1. Flink架构

2. 特性

2.1 有界和无界数据
有界：批处理(离线处理)
无界：实时处理

2.2 一次语义
一次语义保证得是什么？

3. FlatMap

RichFlatMapFunction
FlatMapFunction
RichColFlatMapRunction
CoFlatMapFunction ‘

4. RDD

connect

5. watermarker(sparkstreaming 没有)

使用watermark机制解决无序问题

timewindow
event time
process time
ingression time

watermarker + windows
迟到太多的事件的处理机制(比较忌讳的是丢数据)
收集丢弃的数据
并行WaterMa